欧美一级特黄大片做受成人-亚洲成人一区二区电影-激情熟女一区二区三区-日韩专区欧美专区国产专区

網(wǎng)站seo優(yōu)化了解入門(mén)爬蟲(chóng)技術(shù)原理二

2023-08-19    分類(lèi): 網(wǎng)站建設(shè)

通用爬蟲(chóng)架構(gòu)

上述是一個(gè)通用爬蟲(chóng)的整體流程,如果從更加宏觀的角度考慮,處于動(dòng)態(tài)抓取過(guò)程中的爬蟲(chóng)和互聯(lián)網(wǎng)所有網(wǎng)頁(yè)之間的關(guān)系,可以概括為以下 5 個(gè)部分:

已下載網(wǎng)頁(yè)結(jié)合:爬蟲(chóng)已經(jīng)從互聯(lián)網(wǎng)下載到本地進(jìn)行索引的網(wǎng)頁(yè)集合。

已過(guò)期網(wǎng)頁(yè)結(jié)合:由于網(wǎng)頁(yè)數(shù)量龐大,爬蟲(chóng)完整抓取一輪需要較長(zhǎng)時(shí)間,在抓取過(guò)程中,很多已下載的網(wǎng)頁(yè)可能已經(jīng)更新了,從而導(dǎo)致過(guò)期。之所以如此,是因?yàn)榛ヂ?lián)網(wǎng)網(wǎng)頁(yè)處于不斷的動(dòng)態(tài)變化過(guò)程中,所以易產(chǎn)生本地網(wǎng)頁(yè)內(nèi)容和真實(shí)互聯(lián)網(wǎng)不一致的情況。

待下載網(wǎng)頁(yè)集合:處于待抓取URL隊(duì)列中的網(wǎng)頁(yè),這些網(wǎng)頁(yè)即將被爬蟲(chóng)下載。

可知網(wǎng)頁(yè)集合:這些網(wǎng)頁(yè)還沒(méi)有被爬蟲(chóng)下載,也沒(méi)有出現(xiàn)在待抓取URL隊(duì)列中,通過(guò)已經(jīng)抓取的網(wǎng)頁(yè)或者在待抓取URL隊(duì)列中的網(wǎng)頁(yè),總是能夠通過(guò)鏈接關(guān)系發(fā)現(xiàn)它們,稍晚時(shí)候會(huì)被爬蟲(chóng)抓取并索引。

未知網(wǎng)頁(yè)集合:有些網(wǎng)頁(yè)對(duì)于爬蟲(chóng)是無(wú)法抓取到的,這部分網(wǎng)頁(yè)構(gòu)成了未知網(wǎng)頁(yè)結(jié)合。事實(shí)上,這部分網(wǎng)頁(yè)所占的比例很高。

互聯(lián)網(wǎng)頁(yè)面劃分

從理解爬蟲(chóng)的角度看,對(duì)互聯(lián)網(wǎng)網(wǎng)頁(yè)給出如上劃分有助于深入理解搜索引擎爬蟲(chóng)所面臨的主要任務(wù)和挑戰(zhàn)。絕大多數(shù)爬蟲(chóng)系統(tǒng)遵循上文的流程,但是并非所有的爬蟲(chóng)系統(tǒng)都如此一致。根據(jù)具體應(yīng)用的不同,爬蟲(chóng)系統(tǒng)在許多方面存在差異,大體而已,可以將爬蟲(chóng)系統(tǒng)分為如下 3 種類(lèi)型:

1.批量型爬蟲(chóng):批量型爬蟲(chóng)有比較明確的抓取范圍和目標(biāo),當(dāng)爬蟲(chóng)達(dá)到這個(gè)設(shè)定的目標(biāo)后,即停止抓取過(guò)程。

至于具體目標(biāo)可能各異,也許是設(shè)定抓取一定數(shù)量的網(wǎng)頁(yè)即可,也許是設(shè)定抓取的時(shí)間等,各不一樣。

2.增量型爬蟲(chóng):增量型爬蟲(chóng)與批量型爬蟲(chóng)不同,會(huì)保持持續(xù)不斷的抓取,對(duì)于抓取到的網(wǎng)頁(yè),要定期更新。

因?yàn)榛ヂ?lián)網(wǎng)網(wǎng)頁(yè)處于不斷變化中,新增網(wǎng)頁(yè)、網(wǎng)頁(yè)被刪除或者網(wǎng)頁(yè)內(nèi)容更改都很常見(jiàn),而增量型爬蟲(chóng)需要及時(shí)反映這種變化,所以處于持續(xù)不斷的抓取過(guò)程中,不是在抓取新網(wǎng)頁(yè),就是在更新已有網(wǎng)頁(yè)。通用的商業(yè)搜索引擎爬蟲(chóng)基本都屬此類(lèi)。

3.垂直型爬蟲(chóng):垂直型爬蟲(chóng)關(guān)注特定主題內(nèi)容或者屬于特定行業(yè)的網(wǎng)頁(yè),比如對(duì)于健康網(wǎng)站來(lái)說(shuō),只需要從互聯(lián)網(wǎng)頁(yè)面里找到與健康相關(guān)的頁(yè)面內(nèi)容即可,其他行業(yè)的內(nèi)容不在考慮范圍。

垂直型爬蟲(chóng)一個(gè)較大的特點(diǎn)和難點(diǎn)就是:如何識(shí)別網(wǎng)頁(yè)內(nèi)容是否屬于指定行業(yè)或主題。

從節(jié)省系統(tǒng)資源的角度來(lái)講,不可能把所有互聯(lián)網(wǎng)頁(yè)面下載之后在進(jìn)行篩選,這樣會(huì)造成資源過(guò)度浪費(fèi),往往需要爬蟲(chóng)在抓取階段就能夠動(dòng)態(tài)識(shí)別某個(gè)網(wǎng)址是否與主題相關(guān),并盡量不去抓取無(wú)關(guān)頁(yè)面,以達(dá)到節(jié)省資源的目的。垂直搜索網(wǎng)站或者垂直行業(yè)網(wǎng)站往往需要此種類(lèi)型的爬蟲(chóng)。

當(dāng)前題目:網(wǎng)站seo優(yōu)化了解入門(mén)爬蟲(chóng)技術(shù)原理二
當(dāng)前鏈接:http://aaarwkj.com/news2/277202.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供小程序開(kāi)發(fā)網(wǎng)站建設(shè)、品牌網(wǎng)站建設(shè)、移動(dòng)網(wǎng)站建設(shè)、靜態(tài)網(wǎng)站網(wǎng)站收錄

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)

小程序開(kāi)發(fā)
91女厕偷拍女厕偷拍| 97国产精品成人免费视频| 久久午夜福利欧美视频| 亚洲国产中文日韩欧美在线| 在线观看亚洲毛片网站| 日本不卡在线观看欧美精品| 日本黄色中文字幕在线观看| 欧美v日韩v亚洲综合国产高清| 翔田千里精品久久一区二| 欧美日韩国产免费,日日骚| 一区二区三区高清人妻| 国产伦国产一区二区三区在线观看| 亚洲熟妇av乱码在线| 欧美激情三级一区二区| 日韩精品在线不卡一区| 91高清国产在线播放| 国产精品毛片一区二区三| 国产亚洲欧美日韩中文字幕| 高清国语对白刺激av在线播放| 一区二区三区免费在线观看视频| 九九热在线免费观看精品视频| 日本在线一区二区中文| 激情av一区二区不卡| 日本一区二区三区日本| 亚洲区一区二区三区精品| 亚洲国产精品一区二区成人| 欧美日韩一区二区三区福利| 久久热福利视频就在这里| 亚洲奇米精品一区二区 | 91精品人妻互换一区二区| 免费看av网站一区二区| 在线观看不卡的黄色地址| 欧美日韩国产综合在线观看| 亚洲成在人线天堂网站| 91免费人成网站在线观看| 亚洲精品不卡一区二区| 四虎精品在线免费视频| 日本精品人妻一区二区三区蜜桃| 亚洲日本成人av在线观看 | 国产传媒视频网站在线观看| 日本一区二区中文字幕视频|