robots.txt文件可以有效的屏蔽搜索引擎抓取我們不需要被抓取的頁面和網(wǎng)站源文件，其中的好處是限制搜索引擎過多的抓取不必要的內(nèi)容，減少搜索引擎蜘蛛進(jìn)行不必要的網(wǎng)站爬尋分散，也是為了讓我們的網(wǎng)站不必要的內(nèi)容不在搜索引擎被收錄，不讓別人搜索到。 其中什么樣的文件會被限制抓取呢？

一、是否通過robots.txt來屏蔽動(dòng)態(tài)頁面，減少頁面的重復(fù)抓?。?

其實(shí)個(gè)人建議普通網(wǎng)站不必要進(jìn)行動(dòng)態(tài)頁面的屏蔽，搜索引擎一般會自動(dòng)判斷是否重復(fù)，普通網(wǎng)站內(nèi)容并不是非常多，一般出現(xiàn)重復(fù)頁面的可能性也比較低，如果是信息站和論壇站等建議屏蔽動(dòng)態(tài)頁面。

二、robots.txt屏蔽特殊頁面，隱私內(nèi)容的屏蔽。

robots.txt屏蔽特殊頁面，網(wǎng)站隱私內(nèi)容的屏蔽，其實(shí)對于一個(gè)網(wǎng)站來說，隱私內(nèi)容比較難實(shí)現(xiàn)，在無程序支持的前提下，這里說的隱私是指一些不想被流傳到互聯(lián)網(wǎng)的內(nèi)容，屏蔽搜索引擎蜘蛛避免在互聯(lián)網(wǎng)被泛濫，如：網(wǎng)絡(luò)培訓(xùn)班培訓(xùn)資料。

三、網(wǎng)站特殊文件夾屏蔽

特殊文件夾一般是指，網(wǎng)站程序安裝文件，動(dòng)態(tài)功能頁面，多于的文件夾，后臺功能等。

robots.txt文件的好處剛才也說了，就是提供搜索引擎蜘蛛看的，告訴它哪些文件你不要看，不給你的，這是它的優(yōu)點(diǎn)，但是robots.txt在告訴搜索引擎蜘蛛的同時(shí)，也在告訴其他人，這個(gè)網(wǎng)站的隱私，比如：網(wǎng)站后臺文件夾地址，相信很多站長都會在robots.txt上面填寫，如：Disallow:/dede/ 從這里我們可以看錯(cuò)應(yīng)該是織夢程序，當(dāng)然我們可以更改。

網(wǎng)站屏蔽的安裝文件地址，如：Disallow: /install/ 這一般是程序安裝文件的地址，就算我們后臺地址更改后一樣能分析出是什么程序做出來的。

屏蔽網(wǎng)站后臺登錄地址，如：Disallow: /login.asp  這樣就明顯告訴有心人你的后臺登錄地址了。

屏蔽網(wǎng)站隱私內(nèi)容，如：Disallow: /123.html  也只是針對搜索引擎，對人為我們還是有風(fēng)險(xiǎn)。

上面說的幾點(diǎn)都是出于安全性的考慮，那我們還寫不寫robots.txt呢？

根據(jù)我個(gè)人的操作來說，robots.txt還是要些的，畢竟優(yōu)化很多時(shí)候離不開他，但是對于網(wǎng)站安全我們也要采取一些必要的措施與手段，那我們只能在程序的安全性上做手腳了，但要怎么做這手腳是程序員發(fā)揮作用的時(shí)候了，比如會員功能等。

其次，為了不告知他人我們的隱私，那么我們可以在robots里用“*”來隱藏我們的文件名。  

從上圖可以見，我們可以完全不暴露自己的文件名了，同時(shí)也能夠?qū)λ阉饕嬷┲脒M(jìn)行屏蔽！