網(wǎng)站爬行策略
2022-04-28 分類： 網(wǎng)站建設(shè)
全互聯(lián)網(wǎng)是由相互鏈接的網(wǎng)站及頁面組成的。從理論上說，爬蟲從任何一個(gè)頁面出發(fā)，沿著鏈接都可爬完網(wǎng)上的所有頁面。由于網(wǎng)站及頁面具有非常復(fù)雜的鏈接結(jié)構(gòu)，爬蟲需要采取一定的爬行策略才能爬完網(wǎng)上所有頁面。實(shí)現(xiàn)一個(gè)完善的爬蟲系統(tǒng)，爬行策略至關(guān)重要。
爬行策略有如下幾種：深度優(yōu)先爬行策略是爬蟲沿著發(fā)現(xiàn)的鏈接先爬取一個(gè)網(wǎng)頁，然后一直往前爬行，爬行到前面再也沒有其他鏈接為止，然后在返回到第一個(gè)頁面，沿著另一個(gè)鏈接再一直往前爬行。如圖1所示，爬取的順序是A→D→E→B→C→F→G；廣度優(yōu)先爬行策略：是指爬蟲在一個(gè)頁面上發(fā)現(xiàn)多個(gè)網(wǎng)絡(luò)鏈接時(shí)，不是沿著一個(gè)網(wǎng)絡(luò)鏈接一直向前爬行，而是先把頁面上同一層次鏈接都爬一遍，然后再沿著第二層頁面上發(fā)現(xiàn)的鏈接爬向第三層頁面。
爬取的順序是A→B→C→D→E→F→G；大站優(yōu)先爬行策略是對(duì)于準(zhǔn)備抓取地址隊(duì)列中的所有網(wǎng)頁，把其根據(jù)所屬的網(wǎng)站進(jìn)行分類，優(yōu)先爬取網(wǎng)站的網(wǎng)頁數(shù)量比其他多的網(wǎng)站。反鏈爬行策略是指的是一個(gè)網(wǎng)頁被其他網(wǎng)頁鏈接指向的數(shù)量，當(dāng)某個(gè)網(wǎng)頁的內(nèi)容受到其他人的推薦的程度高，這種網(wǎng)頁被優(yōu)先爬取。
爬行策略有如下幾種：深度優(yōu)先爬行策略是爬蟲沿著發(fā)現(xiàn)的鏈接先爬取一個(gè)網(wǎng)頁，然后一直往前爬行，爬行到前面再也沒有其他鏈接為止，然后在返回到第一個(gè)頁面，沿著另一個(gè)鏈接再一直往前爬行。如圖1所示，爬取的順序是A→D→E→B→C→F→G；廣度優(yōu)先爬行策略：是指爬蟲在一個(gè)頁面上發(fā)現(xiàn)多個(gè)網(wǎng)絡(luò)鏈接時(shí)，不是沿著一個(gè)網(wǎng)絡(luò)鏈接一直向前爬行，而是先把頁面上同一層次鏈接都爬一遍，然后再沿著第二層頁面上發(fā)現(xiàn)的鏈接爬向第三層頁面。
爬取的順序是A→B→C→D→E→F→G；大站優(yōu)先爬行策略是對(duì)于準(zhǔn)備抓取地址隊(duì)列中的所有網(wǎng)頁，把其根據(jù)所屬的網(wǎng)站進(jìn)行分類，優(yōu)先爬取網(wǎng)站的網(wǎng)頁數(shù)量比其他多的網(wǎng)站。反鏈爬行策略是指的是一個(gè)網(wǎng)頁被其他網(wǎng)頁鏈接指向的數(shù)量，當(dāng)某個(gè)網(wǎng)頁的內(nèi)容受到其他人的推薦的程度高，這種網(wǎng)頁被優(yōu)先爬取。
當(dāng)前名稱：網(wǎng)站爬行策略
文章路徑：http://aaarwkj.com/news46/147046.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供外貿(mào)建站、軟件開發(fā)、Google、外貿(mào)網(wǎng)站建設(shè)、網(wǎng)站設(shè)計(jì)、微信小程序
聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容
- 網(wǎng)站空間是什么?購買的注意事項(xiàng)是什么? 2022-04-28
- 怎么快速提升網(wǎng)站的權(quán)重？ 2022-04-28
- 【網(wǎng)絡(luò)推廣】網(wǎng)站不收錄的原因剖析及解決方式! 2022-04-28
- 新手做SEO要把問題簡單化 2022-04-28
- 低價(jià)建網(wǎng)站和免費(fèi)建站是否靠譜 2022-04-28
- 門戶網(wǎng)站的盈利模式有哪些 2022-04-28
- seo培訓(xùn)行業(yè)中那三個(gè)基本點(diǎn)是常講內(nèi)容？ 2022-04-28
- 【網(wǎng)站優(yōu)化】百度SEO優(yōu)化：如何讓關(guān)鍵詞快速、長久有排名? 2022-04-28
- 怎樣才能創(chuàng)建一個(gè)好的手機(jī)網(wǎng)站 2022-04-28
- 【SEO優(yōu)化】元標(biāo)簽是什么?常見元標(biāo)簽有哪些? 2022-04-28
- 網(wǎng)站優(yōu)化中文章的題目應(yīng)該如何書寫才有利于優(yōu)化? 2022-04-28
- 使用CSS語言設(shè)計(jì)網(wǎng)頁的的好處和技巧 2022-04-28
- 小程序展現(xiàn)出怎樣的趨勢？創(chuàng)業(yè)公司應(yīng)如何規(guī)避風(fēng)險(xiǎn)？ 2022-04-28
- 不能對(duì)網(wǎng)站做的那些事兒 2022-04-28
- 網(wǎng)站電子營業(yè)執(zhí)照亮照怎么做？創(chuàng)新互聯(lián)開啟代辦模式 2022-04-28
- 創(chuàng)新互聯(lián)淺析營銷型網(wǎng)站價(jià)值所在 2022-04-28
- 企業(yè)網(wǎng)站服務(wù)器ICP備案是不是必須就非做不可呢？ 2022-04-28
- 怎么樣的網(wǎng)站才是真正的營銷型網(wǎng)站 2022-04-28
- 【SEO優(yōu)化】企業(yè)站有必要做SEO診斷?SEO診斷有哪些好處? 2022-04-28