robots.txt是一個(gè)純文本文件，是搜索引擎訪問(wèn)網(wǎng)站的時(shí)候要查看的第一個(gè)文件。robots.txt文件告訴蜘蛛程序在服務(wù)器上什么文件是可以被查看的。每個(gè)站點(diǎn)最好建立一個(gè)robots.txt文件，對(duì)網(wǎng)站SEO優(yōu)化有很很好的作用。

　　每當(dāng)搜索蜘蛛來(lái)尋找并不存在的robots.txt文件時(shí)，服務(wù)器將在日志中記錄一條404錯(cuò)誤，所以你應(yīng)該在網(wǎng)站中添加一個(gè)robots.txt(即使這個(gè)robots.txt文件只是一個(gè)空文件)。

　　robots.txt的寫(xiě)法(語(yǔ)法)

　　1)User-agent: 該項(xiàng)的值用于描述搜索引擎蜘蛛的名字。如果該項(xiàng)的值設(shè)為*，則該協(xié)議對(duì)任何機(jī)器人均有效。

　　2)Disallow: 該項(xiàng)的值用于描述不希望被訪問(wèn)到的一個(gè)URL，一個(gè)目錄或者整個(gè)網(wǎng)站。以Disallow開(kāi)頭的URL 均不會(huì)被搜索引擎蜘蛛訪問(wèn)到。任何一條Disallow記錄為空，說(shuō)明該網(wǎng)站的所有部分都允許被訪問(wèn)。

　　3)用法舉例：

　　網(wǎng)站目錄下所有文件均能被所有搜索引擎蜘蛛訪問(wèn)

　　User-agent: *

　　Disallow:

　　禁止所有搜索引擎蜘蛛訪問(wèn)網(wǎng)站的任何部分

　　User-agent: *

　　Disallow: /

　　禁止所有的搜索引擎蜘蛛訪問(wèn)網(wǎng)站的幾個(gè)目錄

　　User-agent: *

　　Disallow: /a/

　　Disallow: /b/

　　禁止搜索引擎蜘蛛訪問(wèn)目錄a和目錄b

　　User-agent: Googlebot

　　Disallow:

　　只允許某個(gè)搜索引擎蜘蛛訪問(wèn)

　　您應(yīng)該限制網(wǎng)站某些文件不被蜘蛛抓取。

　　一般網(wǎng)站中不需要蜘蛛抓取的文件有：后臺(tái)管理文件、程序腳本、附件、數(shù)據(jù)庫(kù)文件、編碼文件、樣式表文件、模板文件、導(dǎo)航圖片和背景圖片等等。

本文標(biāo)題：robots.txt文件是什么?robots.txt的寫(xiě)法
URL地址：http://aaarwkj.com/news/169034.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供微信公眾號(hào)、全網(wǎng)營(yíng)銷(xiāo)推廣、響應(yīng)式網(wǎng)站、網(wǎng)站內(nèi)鏈、微信小程序、App設(shè)計(jì)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)