問題：為什么robots禁止抓取了但搜索引擎還會抓??？

回答：嚴格來說robots限制蜘蛛抓取，搜索引擎也是會遵循這個規(guī)則的，現(xiàn)在百度搜索引擎對于robots的態(tài)度是，依然會抓取，但是不會保留百度快照。其他搜索引擎基本也是同樣的。

在百度百科里面有這么一條：robots協(xié)議并不是一個規(guī)范，而只是約定俗成的，所以并不能保證網(wǎng)站的隱私。

設(shè)置robots禁止抓取主要是基于兩個原因：第一個是新站調(diào)試期間，不想讓搜索引擎抓??；第二個就是網(wǎng)站下某些目錄頁面，不想被搜索引擎抓取。對于第一種，如果完全不想讓搜索引擎抓取，你建議在本地測試，或者是采用其他的域名綁定線上測試，測試沒有問題之后再綁定目標域名。至于第二種，其實是沒有辦法的，因為如果搜索引擎不按照robots規(guī)則，那我們似乎也沒有什么好的辦法阻止，如果搜索引擎收錄了這些限制抓取的頁面，只能去投訴快照了。

但是大家也要注意，搜索引擎抓取robots文件限制的頁面，這對于網(wǎng)站來說并不會造成很大的影響。原則上說這不會浪費抓取份額，除了網(wǎng)站首頁以后，也很少發(fā)現(xiàn)會收錄robots限制抓取的內(nèi)頁。所以，大家也不要太過擔心，搜索引擎想抓就讓它去抓，如果收錄了，就去投訴申請刪除。

另外有朋友擔心安全的問題，搜索引擎蜘蛛只是一個工具，它本身是沒有惡意的，只是會按照規(guī)則去工作。大家也不要把搜索引擎想得那么壞，如果網(wǎng)站沒有敏感的內(nèi)容，在不影響到網(wǎng)站優(yōu)化的情況下，讓蜘蛛去抓取也沒有什么損失。大家莫要驚慌哦！

關(guān)于為什么robots禁止抓取了但搜索引擎還會抓取的問題，本文就簡單的說這么多?？傊畞碚f，理論上搜索引擎還是會遵循robots規(guī)則的，不會胡亂收錄這些禁止收錄的頁面。

當前題目：為什么robots禁止抓取了但搜索引擎還會抓取
文章地址：http://aaarwkj.com/news13/247563.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供App設(shè)計、品牌網(wǎng)站制作、云服務(wù)器、定制開發(fā)、微信公眾號、網(wǎng)頁設(shè)計公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)