【baiduspider】百度蜘蛛叫Baiduspider不是baidubot

今天又遇到有同學(xué)問我關(guān)于ROBOTS該如何去寫的問題，這里整理下給大家，其實也都是來源于網(wǎng)路上，注意百度的蜘蛛叫做Baiduspider而不是baidubot，谷歌的叫做googlebot。

1、禁止所有搜索引擎訪問網(wǎng)站的任何部分

User-agent:*

Disallow:/

2、允許所有的robot訪問(或者也可以建一個空文件"/robots.txt")

User-agent:*

Allow:/

另一種寫法是

User-agent:*

Disallow:

3、僅禁止Baiduspider訪問您的網(wǎng)站

User-agent:Baiduspider

Disallow:/

4、僅允許Baiduspider訪問您的網(wǎng)站

User-agent:Baiduspider

Allow:/

5、禁止spider訪問特定目錄

在這個例子中，該網(wǎng)站有三個目錄對搜索引擎的訪問做了限制，即robot不會訪問這三個目錄。需要注意的是對每一個目錄必須

分開聲明，而不能寫成"Disallow:/cgi-bin//tmp/"。

User-agent:*

Disallow:/cgi-bin/

Disallow:/tmp/

Disallow:/~joe/

6、允許訪問特定目錄中的部分url

User-agent:*

Allow:/cgi-bin/see

Allow:/tmp/hi

Allow:/~joe/look

7、使用"*"限制訪問url

禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。

User-agent:*

Disallow:/cgi-bin/*.htm

8、使用"$"限制訪問url

僅允許訪問以".htm"為后綴的URL。

User-agent:*

Allow:/.htm$

9、禁止訪問網(wǎng)站中所有的動態(tài)頁面

User-agent:*

Disallow:/*?*

10、禁止Baiduspider抓取網(wǎng)站上所有圖片

僅允許抓取網(wǎng)頁，禁止抓取任何圖片。

User-agent:Baiduspider

Disallow:/*.jpg$

Disallow:/*.jpeg$

Disallow:/*.gif$

Disallow:/*.png$

Disallow:/*.bmp$

11、僅允許Baiduspider抓取網(wǎng)頁和gif格式圖片

允許抓取網(wǎng)頁和gif格式圖片，不允許抓取其他格式圖片

User-agent:Baiduspider

Allow:.gif$

Disallow:/.jpg$

Disallow:/.jpeg$

Disallow:/.png$

Disallow:/.bmp$

12、僅禁止Baiduspider抓取jpg格式圖片

User-agent:Baiduspider

Disallow:/.jpg$

分享文章：【baiduspider】百度蜘蛛叫Baiduspider不是baidubot
瀏覽地址：http://aaarwkj.com/article25/dghijci.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供做網(wǎng)站、、小程序開發(fā)、品牌網(wǎng)站制作、動態(tài)網(wǎng)站、ChatGPT

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源：創(chuàng)新互聯(lián)

猜你還喜歡下面的內(nèi)容

欧美一级特黄大片做受成人-亚洲成人一区二区电影-激情熟女一区二区三区-日韩专区欧美专区国产专区

【baiduspider】百度蜘蛛叫Baiduspider不是baidubot