小編給大家分享一下python爬蟲(chóng)基礎(chǔ)url管理器去重的方法，希望大家閱讀完這篇文章后大所收獲，下面讓我們一起去探討吧！

創(chuàng)新互聯(lián)是一家專業(yè)提供齊齊哈爾企業(yè)網(wǎng)站建設(shè),專注與成都網(wǎng)站設(shè)計(jì)、成都做網(wǎng)站、H5高端網(wǎng)站建設(shè)、小程序制作等業(yè)務(wù)。10年已為齊齊哈爾眾多企業(yè)、政府機(jī)構(gòu)等服務(wù)。創(chuàng)新互聯(lián)專業(yè)網(wǎng)絡(luò)公司優(yōu)惠進(jìn)行中。

URL管理器到底應(yīng)該具有哪些功能？

URL下載器應(yīng)該包含兩個(gè)倉(cāng)庫(kù)，分別存放沒(méi)有爬取過(guò)的鏈接和已經(jīng)爬取過(guò)的鏈接。

應(yīng)該有一些函數(shù)負(fù)責(zé)往上述兩個(gè)倉(cāng)庫(kù)里添加鏈接

應(yīng)該有一個(gè)函數(shù)負(fù)責(zé)從新url倉(cāng)庫(kù)中隨機(jī)取出一條鏈接以便下載器爬取

URL下載器應(yīng)該能識(shí)別重復(fù)的鏈接，已經(jīng)爬取過(guò)的鏈接就不需要放進(jìn)倉(cāng)庫(kù)了

如果一個(gè)URL管理器能夠具有以上4點(diǎn)功能，也算是“麻雀雖小，五臟俱全”了。然而，鏈接去重這個(gè)功能，應(yīng)該怎么實(shí)現(xiàn)？

鏈接去重是關(guān)系爬蟲(chóng)效率的一個(gè)比較關(guān)鍵的點(diǎn)，尤其是爬取的數(shù)據(jù)量極大的時(shí)候。在這個(gè)簡(jiǎn)單的例子里，由于數(shù)據(jù)量較少，我們不需要太過(guò)復(fù)雜的算法，直接借助于python的set()函數(shù)即可，該函數(shù)可以生成一個(gè)集合對(duì)象，其元素不可重復(fù)。

根據(jù)以上分析，URL管理器的w代碼如下：

'''
UrlManager
'''
class UrlManager(object):
    def __init__(self):
        #初始化的時(shí)候就生成兩個(gè)url倉(cāng)庫(kù)
        self.new_urls = set()
        self.old_urls = set()
 
    #判斷新url倉(cāng)庫(kù)中是否還有沒(méi)有爬取的url
    def has_new_url(self):
        return len(self.new_urls)
 
    #從new_url倉(cāng)庫(kù)獲取一個(gè)新的url
    def get_new_url(self):
        return self.new_urls.pop()
 
    def add_new_url(self, url):    #這個(gè)函數(shù)后來(lái)用不到了……
        '''
        將一條url添加到new_urls倉(cāng)庫(kù)中
        parm url: str
        return:
        '''
        if url is None:
            return
        #只需要判斷old_urls中沒(méi)有該鏈接即可，new_urls在添加的時(shí)候會(huì)自動(dòng)去重
        if url not in self.old_urls:
            self.new_urls.add(url)
 
    def add_new_urls(self, urls):
        '''
        將多條url添加到new_urls倉(cāng)庫(kù)中
        parm url: 可迭代對(duì)象
        return:
        '''
        print "start add_new_urls"
        if urls is None or len(urls) == 0:
            return
        for url in urls:
            self.add_new_url(url)
 
    def add_old_url(self, url):
        self.old_urls.add(url)
        print "add old url succefully"
 
    #獲取已經(jīng)爬取過(guò)的url的數(shù)目
    def old_url_size(self):
        return len(self.old_urls)

看完了這篇文章，相信你對(duì)python爬蟲(chóng)基礎(chǔ)url管理器去重的方法有了一定的了解，想了解更多相關(guān)知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝各位的閱讀！

分享文章：python爬蟲(chóng)基礎(chǔ)url管理器去重的方法
標(biāo)題網(wǎng)址：http://aaarwkj.com/article16/igehgg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供云服務(wù)器、網(wǎng)站建設(shè)、靜態(tài)網(wǎng)站、做網(wǎng)站、企業(yè)建站、虛擬主機(jī)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)