很對(duì)站長(zhǎng)朋友在對(duì)網(wǎng)站開(kāi)始進(jìn)行優(yōu)化之前，會(huì)忽略非常重要的一點(diǎn)，就是網(wǎng)站上的robots文件，robots文件的作用是告訴搜索引擎蜘蛛，這個(gè)網(wǎng)站上什么內(nèi)容是可以抓取的，哪些內(nèi)容是禁止抓取的。當(dāng)robots文件制作完成之后，放在網(wǎng)站ftp的跟目錄之下，就搞定了。那么，robots文件里寫(xiě)的各種內(nèi)容，都是代表了什么樣的含義呢？下面我們就來(lái)了解一下吧！

User-agent禁止訪問(wèn)抓取系列：

User-agent: *

這里的*好是通配符，意指所有的搜索引擎都可以抓取，包括百度、搜狗、360等等

Disallow: /

意思是禁止蜘蛛抓取該網(wǎng)站的任何目錄

Disallow:/123

意思是禁止蜘蛛抓取該網(wǎng)站的123以及123層級(jí)之下的所有內(nèi)容

Disallow:/123/

意思是禁止蜘蛛抓取123層級(jí)之下的所有內(nèi)容，但是可以抓取123頁(yè)面的內(nèi)容

Disallow:/*.png

意思是禁止蜘蛛抓取網(wǎng)站上所有png格式的圖片，想要禁止抓取其它格式也是這樣書(shū)寫(xiě)，比如想要禁止抓取網(wǎng)站jpg格式的圖片，書(shū)寫(xiě)方式為Disallow:/*.jpg

Disallow:/123/*.png

禁止蜘蛛訪問(wèn)123層次下的png圖片，其他格式也是同樣的書(shū)寫(xiě)方式

Disallow:/*？*

禁止蜘蛛抓取網(wǎng)站上所有的動(dòng)態(tài)url頁(yè)面

Disallow:/123/*？*

禁止蜘蛛抓取網(wǎng)站上123目錄下的所有動(dòng)態(tài)頁(yè)面，不影響抓取網(wǎng)站123目錄中的其它內(nèi)容

allow允許抓取訪問(wèn)系列：

allow的意思是允許蜘蛛訪問(wèn)抓取的意思，在寫(xiě)robots文件的時(shí)候一定要注意一件事，就是在書(shū)寫(xiě)的時(shí)候，一定要將allow放在disallow前面，才能不受disallow的影響，其它的寫(xiě)法參考disallow的書(shū)寫(xiě)方式，這里就不湊字?jǐn)?shù)了。

有一點(diǎn)注意事項(xiàng)，大家在使用的時(shí)候一定要注意，robots.txt文件名稱一定要小寫(xiě)的，不要大寫(xiě)。有了完整的robots文件，搜索引擎在抓取的時(shí)候才會(huì)更加的方便，利于對(duì)網(wǎng)站的提升。

文章名稱：robots文件代表了什么樣的含義呢？
URL地址：http://aaarwkj.com/news44/128244.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供企業(yè)建站、網(wǎng)站設(shè)計(jì)、移動(dòng)網(wǎng)站建設(shè)、網(wǎng)站制作、營(yíng)銷型網(wǎng)站建設(shè)、外貿(mào)網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)