1、禁止所有搜索引擎訪問(wèn)網(wǎng)站的任何部分

　　User-agent: *

　　Disallow: /

　　2、允許所有的robot訪問(wèn)(或者也可以建一個(gè)空文件 "/robots.txt")

　　第1種寫(xiě)法

　　User-agent: *

　　Allow: /

　　第2種寫(xiě)法

　　User-agent: *

　　Allow:

　　第3種寫(xiě)法

　　User-agent: *

　　Disallow:

　　3、僅禁止Baiduspider訪問(wèn)您的網(wǎng)站

　　User-agent: Baiduspider

　　Disallow: /

　　4、僅允許Baiduspider訪問(wèn)您的網(wǎng)站

　　User-agent: Baiduspider

　　Allow: /

　　5、禁止spider訪問(wèn)特定目錄

　　在這個(gè)例子中，該網(wǎng)站有三個(gè)目錄對(duì)搜索引擎的訪問(wèn)做了限制，即robot不會(huì)訪問(wèn)這三個(gè)目錄。

　　需要注意的是對(duì)每一個(gè)目錄必須分開(kāi)聲明，而不能寫(xiě)成 "Disallow: /cgi-bin/ /tmp/"。

　　User-agent: *

　　Disallow: /cgi-bin/

　　Disallow: /tmp/

　　Disallow: /~joe/

　　6、允許訪問(wèn)特定目錄中的部分url

　　User-agent: *

　　Allow: /cgi-bin/see

　　Allow: /tmp/hi

　　Allow: /~joe/look

　　7、使用"*"限制訪問(wèn)url

　　禁止訪問(wèn)/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)

　　User-agent: *

　　Disallow: /cgi-bin/*.htm

　　8、使用"$"限制訪問(wèn)url

　　僅允許訪問(wèn)以".htm"為后綴的URL。

　　User-agent: *

　　Allow: / .htm$

　　9、禁止訪問(wèn)網(wǎng)站中所有的動(dòng)態(tài)頁(yè)面

　　User-agent: *

　　Disallow: /*?*

　　10、禁止Baiduspider抓取網(wǎng)站上所有圖片，僅允許抓取網(wǎng)頁(yè)，禁止抓取任何圖片。

　　User-agent: Baiduspider

　　Disallow: /*.jpg$

　　Disallow: /* .jpeg$

　　Disallow: /* .gif$

　　Disallow: /* .png$

　　Disallow: /*.bmp$

　　11、僅允許Baiduspider抓取網(wǎng)頁(yè)和。gif格式圖片允許抓取網(wǎng)頁(yè)和gif格式圖片，不允許抓取其他格式圖片

　　User-agent: Baiduspider

　　Allow: .gif$

　　Disallow: /.jpg$

　　Disallow: / .jpeg$

　　Disallow: / .png$

　　Disallow: /.bmp$

　　12、僅禁止Baiduspider抓取，jpg格式圖片。

　　User-agent: /Baiduspider

　　Disallow: /.jpg$

　　附件：百度各個(gè)產(chǎn)品使用不同的user-agent

　　無(wú)線搜索 Baiduspider-mobile

　　圖片搜索 Baiduspider-image

　　視頻搜索 Baiduspider-video

　　新聞搜索 Baiduspider-news

　　百度搜藏 Baiduspider-favo

　　百度聯(lián)盟 Baiduspider-cpro

　　商務(wù)搜索 Baiduspider-ads

　　網(wǎng)頁(yè)以及其他搜索 Baiduspider

名稱(chēng)欄目：robots.txt文件用法舉例
文章鏈接：http://aaarwkj.com/news26/163226.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站設(shè)計(jì)、做網(wǎng)站、響應(yīng)式網(wǎng)站、定制網(wǎng)站、微信小程序、靜態(tài)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)