欧美一级特黄大片做受成人-亚洲成人一区二区电影-激情熟女一区二区三区-日韩专区欧美专区国产专区

如何巧用robots避免蜘蛛黑洞?

2021-02-03    分類: 網(wǎng)站建設(shè)

如何巧用robots避免蜘蛛黑洞?


對于百度搜索引擎來說,蜘蛛黑洞特指網(wǎng)站通過極低的成本制造出大量參數(shù)過多,及內(nèi)容雷同但具體參數(shù)不同的動態(tài)URL ,就像一個無限循環(huán)的“黑洞”將spider困住,Baiduspider浪費(fèi)了大量資源抓取的卻是無效網(wǎng)頁。

比如很多網(wǎng)站都有篩選功能,通過篩選功能產(chǎn)生的網(wǎng)頁經(jīng)常會被搜索引擎大量抓取,而這其中很大一部分檢索價值不高,如“500-1000之間價格的租房”,首先網(wǎng)站(包括現(xiàn)實(shí)中)上基本沒有相關(guān)資源,其次站內(nèi)用戶和搜索引擎用戶都沒有這種檢索習(xí)慣。這種網(wǎng)頁被搜索引擎大量抓取,只能是占用網(wǎng)站寶貴的抓取配額。那么該如何避免這種情況呢?

我們以北京某團(tuán)購網(wǎng)站為例,看看該網(wǎng)站是如何利用robots巧妙避免這種蜘蛛黑洞的:

對于普通的篩選結(jié)果頁,該網(wǎng)站選擇使用靜態(tài)鏈接,如:http://bj.XXXXX.com/category/zizhucan/weigongcun

同樣是條件篩選結(jié)果頁,當(dāng)用戶選擇不同排序條件后,會生成帶有不同參數(shù)的動態(tài)鏈接,而且即使是同一種排序條件(如:都是按銷量降序排列),生成的參數(shù)也都是不同的。如:http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek

http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c


對于該團(tuán)購網(wǎng)來說,只讓搜索引擎抓取篩選結(jié)果頁就可以了,而各種帶參數(shù)的結(jié)果排序頁面則通過robots規(guī)則拒絕提供給搜索引擎。

robots.txt的文件用法中有這樣一條規(guī)則:Disallow: /*?* ,即禁止搜索引擎訪問網(wǎng)站中所有的動態(tài)頁面。該網(wǎng)站恰是通過這種方式,對Baiduspider優(yōu)先展示高質(zhì)量頁面、屏蔽了低質(zhì)量頁面,為Baiduspider提供了更友好的網(wǎng)站結(jié)構(gòu),避免了黑洞的形成。

新聞標(biāo)題:如何巧用robots避免蜘蛛黑洞?
標(biāo)題路徑:http://aaarwkj.com/news/98973.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供品牌網(wǎng)站設(shè)計云服務(wù)器、虛擬主機(jī)、電子商務(wù)全網(wǎng)營銷推廣、企業(yè)建站

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)

成都定制網(wǎng)站網(wǎng)頁設(shè)計
国产av不卡二区三区| 亚洲熟女av一区少妇| av中文字幕熟妇人妻少妇| 啊啊舒服爽用力爱我视频| 禁止18岁以下的视频| 先锋影音女同中文字幕| 国产日本欧美一区二区三区| 97在线视频观看视频在线| 91大神午夜在线观看| 日本欧美国产一区二区| 亚洲国产精品一区二区av不卡| 国产又粗又爽视频免费| 夫妻性生活在线视频一级片| 五月婷婷丁香综合中文字幕| 亚洲一区麻豆文化传媒| 在线看片国产精品自拍| 色婷婷狠狠久久综合中文一本| 精品熟女少妇av免费久久野外| 亚洲欧美日韩另类自拍| 国产女同一区二区三区久久| 九九久久九九精美视频| 亚洲国产日韩精品久久| 国产三级成人在线视频| 日本av电影一区二区三区四区| 久久久久久极精品久久久| 亚洲一区二区三区小蜜桃| 国产精品超碰在线观看| 亚洲午夜精品久久久天堂| 国产午夜在线观看免费视频| 最新日韩中文字幕在线播放| 成人性生活黄色三级视频| 国产亚洲av看码精品永久| 久久精品人妻少妇一区二| 99久在线观看精品视频| 欧美日韩另类综合91| 校园春色亚洲一区二区| 色哟哟精品丝袜一区二区| 国产免费观看久久黄av片涩av| 在线播放精品免费不卡| 亚洲国产日韩精品一区二| 91九色在线porny|