robots文件
2022-06-16 分類： 網(wǎng)站建設(shè)
搜索引擎蜘蛛訪問網(wǎng)站時會先看網(wǎng)站根目錄下有沒有一個命名為robots的純文本文件，robots.txt用于指令搜索引擎蜘蛛禁止抓取網(wǎng)站某些內(nèi)容或者指定允許搜索引擎抓取某些內(nèi)容，如百度的robots文件位于： www.baidu.com/robots.txt
深圳網(wǎng)站制作認(rèn)為，只有在需要禁止某些內(nèi)容時，寫robots.txt才有意義。robots文件不存在或者空文件都默認(rèn)意味著允許搜索引擎抓取所有內(nèi)容。有的服務(wù)器設(shè)置有問題，robots文件不存在時會返回200狀態(tài)碼及一些錯誤信息。而不是404狀態(tài)碼，還有可能會使搜索引擎錯誤解讀robots文件信息，所以建議就算允許抓取所有內(nèi)容，也要建一個空的robots.txt文件，放在根目錄下。
深圳做網(wǎng)站實踐得出結(jié)論，主流搜索引擎都遵守robots文件指令，robots.txt禁止抓取的文件搜索引擎將不再訪問或者不抓取。但要注意，被robots文件禁止抓取的URL還是可能會出現(xiàn)在搜索結(jié)果中，只要有導(dǎo)入鏈接指向這個URL，成都建網(wǎng)站認(rèn)為搜索引擎就知道這個URL的存在，雖然不會抓取頁面內(nèi)容，但是可能一下幾種形式還是會顯示在搜索結(jié)果中：
1.只顯示URL，沒有標(biāo)題，描述。谷歌通常這么處理。
2.只顯示開放目錄或者雅虎等重要目錄收錄的標(biāo)題和描述。
3.導(dǎo)入鏈接的錨文字顯示為標(biāo)題和描述。百度通常這樣處理。
總之，只要想讓URL完全不出現(xiàn)在搜索結(jié)果中，需要使用頁面上的meta robots標(biāo)簽。
深圳網(wǎng)站制作認(rèn)為，只有在需要禁止某些內(nèi)容時，寫robots.txt才有意義。robots文件不存在或者空文件都默認(rèn)意味著允許搜索引擎抓取所有內(nèi)容。有的服務(wù)器設(shè)置有問題，robots文件不存在時會返回200狀態(tài)碼及一些錯誤信息。而不是404狀態(tài)碼，還有可能會使搜索引擎錯誤解讀robots文件信息，所以建議就算允許抓取所有內(nèi)容，也要建一個空的robots.txt文件，放在根目錄下。
深圳做網(wǎng)站實踐得出結(jié)論，主流搜索引擎都遵守robots文件指令，robots.txt禁止抓取的文件搜索引擎將不再訪問或者不抓取。但要注意，被robots文件禁止抓取的URL還是可能會出現(xiàn)在搜索結(jié)果中，只要有導(dǎo)入鏈接指向這個URL，成都建網(wǎng)站認(rèn)為搜索引擎就知道這個URL的存在，雖然不會抓取頁面內(nèi)容，但是可能一下幾種形式還是會顯示在搜索結(jié)果中：
1.只顯示URL，沒有標(biāo)題，描述。谷歌通常這么處理。
2.只顯示開放目錄或者雅虎等重要目錄收錄的標(biāo)題和描述。
3.導(dǎo)入鏈接的錨文字顯示為標(biāo)題和描述。百度通常這樣處理。
總之，只要想讓URL完全不出現(xiàn)在搜索結(jié)果中，需要使用頁面上的meta robots標(biāo)簽。
網(wǎng)頁標(biāo)題：robots文件
文章網(wǎng)址：http://aaarwkj.com/news9/167759.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供品牌網(wǎng)站設(shè)計、網(wǎng)站維護(hù)、網(wǎng)站排名、網(wǎng)站收錄、用戶體驗、面包屑導(dǎo)航
聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容
- 如何讓網(wǎng)站上的按鈕更好看更易用 2022-06-15
- 專業(yè)SEO人員常用seo工具有哪些 2022-06-15
- 網(wǎng)絡(luò)營銷必備的幾大技巧？ 2022-06-15
- 新網(wǎng)站上線收錄慢怎么解決 2022-06-15
- 網(wǎng)絡(luò)建設(shè)需要更新才能“活”起來 2022-06-15
- 如何給別人的產(chǎn)品提意見? 2022-06-15
- 你的企業(yè)網(wǎng)站被您賦予生命了嗎？ 2022-06-15
- 同行網(wǎng)站是怎么建設(shè)得那么好的，給幾個方法，趕緊消化 2022-06-15
- 如何做好網(wǎng)站內(nèi)部構(gòu)建? 2022-06-15
- 電子郵件營銷的優(yōu)勢 2022-06-15
- 更換服務(wù)器需注意的事項 2022-06-15
- 【微博運(yùn)營之微博營銷】新浪微博傳播途徑研究 2022-06-15
- Web應(yīng)用程序的優(yōu)點 2022-06-15
- 企業(yè)網(wǎng)站該如何實施網(wǎng)站優(yōu)化 2022-06-15
- 設(shè)計的階段,成為設(shè)計師的幾個要經(jīng)歷的階段 2022-06-15
- 定制企業(yè)官網(wǎng)必備制作流程步驟講解 2022-06-15
- 裝飾品牌網(wǎng)站首頁設(shè)計效果 2022-06-15
- 株洲網(wǎng)站優(yōu)化關(guān)鍵詞為什么會出現(xiàn)排名不穩(wěn)定的情況？ 2022-06-15
- 互聯(lián)網(wǎng)時代，SEO網(wǎng)絡(luò)優(yōu)化技術(shù)的主要應(yīng)用領(lǐng)域有哪些？ 2022-06-15