robots.txt文件可以有效的屏蔽搜索引擎抓取我們不需要被抓取的頁面和網(wǎng)站源文件，其中的好處是限制搜索引擎過多的抓取不必要的內(nèi)容，減少搜索引擎蜘蛛進行不必要的網(wǎng)站爬尋分散，也是為了讓我們的網(wǎng)站不必要的內(nèi)容不在搜索引擎被收錄，不讓別人搜索到。 其中什么樣的文件會被限制抓取呢？

一、是否通過robots.txt來屏蔽動態(tài)頁面，減少頁面的重復(fù)抓??？

其實個人建議普通網(wǎng)站不必要進行動態(tài)頁面的屏蔽，搜索引擎一般會自動判斷是否重復(fù)，普通網(wǎng)站內(nèi)容并不是非常多，一般出現(xiàn)重復(fù)頁面的可能性也比較低，如果是信息站和論壇站等建議屏蔽動態(tài)頁面。

二、robots.txt屏蔽特殊頁面，隱私內(nèi)容的屏蔽。

robots.txt屏蔽特殊頁面，網(wǎng)站隱私內(nèi)容的屏蔽，其實對于一個網(wǎng)站來說，隱私內(nèi)容比較難實現(xiàn)，在無程序支持的前提下，這里說的隱私是指一些不想被流傳到互聯(lián)網(wǎng)的內(nèi)容，屏蔽搜索引擎蜘蛛避免在互聯(lián)網(wǎng)被泛濫，如：網(wǎng)絡(luò)培訓(xùn)班培訓(xùn)資料。

三、網(wǎng)站特殊文件夾屏蔽

特殊文件夾一般是指，網(wǎng)站程序安裝文件，動態(tài)功能頁面，多于的文件夾，后臺功能等。

robots.txt文件的好處剛才也說了，就是提供搜索引擎蜘蛛看的，告訴它哪些文件你不要看，不給你的，這是它的優(yōu)點，但是robots.txt在告訴搜索引擎蜘蛛的同時，也在告訴其他人，這個網(wǎng)站的隱私，比如：網(wǎng)站后臺文件夾地址，相信很多站長都會在robots.txt上面填寫，如：Disallow:/dede/ 從這里我們可以看錯應(yīng)該是織夢程序，當(dāng)然我們可以更改。

網(wǎng)站屏蔽的安裝文件地址，如：Disallow: /install/ 這一般是程序安裝文件的地址，就算我們后臺地址更改后一樣能分析出是什么程序做出來的。

屏蔽網(wǎng)站后臺登錄地址，如：Disallow: /login.asp 這樣就明顯告訴有心人你的后臺登錄地址了。

屏蔽網(wǎng)站隱私內(nèi)容，如：Disallow: /123.html 也只是針對搜索引擎，對人為我們還是有風(fēng)險。

上面說的幾點都是出于安全性的考慮，那我們還寫不寫robots.txt呢？

根據(jù)我個人的操作來說，robots.txt還是要些的，畢竟優(yōu)化很多時候離不開他，但是對于網(wǎng)站安全我們也要采取一些必要的措施與手段，那我們只能在程序的安全性上做手腳了，但要怎么做這手腳是程序員發(fā)揮作用的時候了，比如會員功能等。

其次，為了不告知他人我們的隱私，那么我們可以在robots里用“*”來隱藏我們的文件名。

從上圖可以見，我們可以完全不暴露自己的文件名了，同時也能夠?qū)λ阉饕嬷┲脒M行屏蔽！

分享題目：robots.txt限制些什么屏蔽內(nèi)容與安全性的考慮
文章源于：http://aaarwkj.com/news45/235545.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供標(biāo)簽優(yōu)化、微信公眾號、移動網(wǎng)站建設(shè)、面包屑導(dǎo)航、微信小程序、網(wǎng)站收錄

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)