欧美一级特黄大片做受成人-亚洲成人一区二区电影-激情熟女一区二区三区-日韩专区欧美专区国产专区

如何巧用robots避免蜘蛛黑洞?

2021-02-03    分類: 網(wǎng)站建設(shè)

如何巧用robots避免蜘蛛黑洞?


對于百度搜索引擎來說,蜘蛛黑洞特指網(wǎng)站通過極低的成本制造出大量參數(shù)過多,及內(nèi)容雷同但具體參數(shù)不同的動態(tài)URL ,就像一個無限循環(huán)的“黑洞”將spider困住,Baiduspider浪費(fèi)了大量資源抓取的卻是無效網(wǎng)頁。

比如很多網(wǎng)站都有篩選功能,通過篩選功能產(chǎn)生的網(wǎng)頁經(jīng)常會被搜索引擎大量抓取,而這其中很大一部分檢索價值不高,如“500-1000之間價格的租房”,首先網(wǎng)站(包括現(xiàn)實(shí)中)上基本沒有相關(guān)資源,其次站內(nèi)用戶和搜索引擎用戶都沒有這種檢索習(xí)慣。這種網(wǎng)頁被搜索引擎大量抓取,只能是占用網(wǎng)站寶貴的抓取配額。那么該如何避免這種情況呢?

我們以北京某團(tuán)購網(wǎng)站為例,看看該網(wǎng)站是如何利用robots巧妙避免這種蜘蛛黑洞的:

對于普通的篩選結(jié)果頁,該網(wǎng)站選擇使用靜態(tài)鏈接,如:http://bj.XXXXX.com/category/zizhucan/weigongcun

同樣是條件篩選結(jié)果頁,當(dāng)用戶選擇不同排序條件后,會生成帶有不同參數(shù)的動態(tài)鏈接,而且即使是同一種排序條件(如:都是按銷量降序排列),生成的參數(shù)也都是不同的。如:http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek

http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c


對于該團(tuán)購網(wǎng)來說,只讓搜索引擎抓取篩選結(jié)果頁就可以了,而各種帶參數(shù)的結(jié)果排序頁面則通過robots規(guī)則拒絕提供給搜索引擎。

robots.txt的文件用法中有這樣一條規(guī)則:Disallow: /*?* ,即禁止搜索引擎訪問網(wǎng)站中所有的動態(tài)頁面。該網(wǎng)站恰是通過這種方式,對Baiduspider優(yōu)先展示高質(zhì)量頁面、屏蔽了低質(zhì)量頁面,為Baiduspider提供了更友好的網(wǎng)站結(jié)構(gòu),避免了黑洞的形成。

新聞標(biāo)題:如何巧用robots避免蜘蛛黑洞?
標(biāo)題路徑:http://aaarwkj.com/news/98973.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供品牌網(wǎng)站設(shè)計云服務(wù)器、虛擬主機(jī)、電子商務(wù)全網(wǎng)營銷推廣、企業(yè)建站

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)

成都定制網(wǎng)站網(wǎng)頁設(shè)計
久久se精品一区精品二区国产| 色中文字幕人妻诱惑制服| 亚洲国产成人精品女人久久久′| 女同亚洲一区二区三区| 先锋av一区二区三区| 中文字幕日韩午夜精品| 天天操夜夜操狠狠操91| 精品国产不卡在线观看| 91久久国产综合精品| 日韩av在线观看大全| 免费人妻一区二区三区| 国产一区精品在线免费看| 91大神午夜在线观看| 人妻一区二区三区中文字幕| 午夜亚洲大片在线观看| 日本精彩视频一区二区| 国产精品美女露脸av毛片| 国产免费不卡午夜福利在线| 98热这里只有精品视频| 操女逼无遮挡国产av| 人妻一少妇一区二区三区| 亚洲精品欧美综合二区| 国产亚洲高清国产拍精品| 日本韩国三级伦理在线观看| 中文字幕精品人妻在线| 亚洲精品伦理中文字幕| 中文字幕av在线日韩| 国产成人在线免费短视频| 91久久国产综合精品| 18禁超污网站免费观看| 日韩在线不卡一二三| 中文字幕一区二区中文字幕| 丝袜美腿亚洲综合第一区| 人妻熟妇一区二区三区成人| 日韩人妻中出中文字幕| 大片天天看菲色亚洲黄色| 亚洲人成伊人成综合网中文| 久久热这里只有视频精品| 亚洲精品一区二区成人影院| 亚洲午夜精品毛片成人| 国产一区二区黄色网页|