本篇文章為大家展示了url下載器如何在python爬蟲中使用，內容簡明扼要并且容易理解，絕對能使你眼前一亮，通過這篇文章的詳細介紹希望你能有所收獲。

為朝陽縣等地區(qū)用戶提供了全套網(wǎng)頁設計制作服務，及朝陽縣網(wǎng)站建設行業(yè)解決方案。主營業(yè)務為網(wǎng)站建設、成都網(wǎng)站制作、朝陽縣網(wǎng)站設計，以傳統(tǒng)方式定制建設網(wǎng)站，并提供域名空間備案等一條龍服務，秉承以專業(yè)、用心的態(tài)度為用戶提供真誠的服務。我們深信只要達到每一位用戶的要求，就會得到認可，從而選擇與我們長期合作。這樣，我們也可以走得更遠！

下載器的作用就是接受URL管理器傳遞給它的一個url，然后把該網(wǎng)頁的內容下載下來。python自帶有urllib和urllib2等庫（這兩個庫在python3中合并為urllib），它們的作用就是獲取指定的網(wǎng)頁內容。不過，在這里我們要使用一個更加簡潔好用而且功能更加強大的模塊：Requests。

Requests并非python自帶模塊，需要安裝。關于其具體使用方法請查看以往文章，在此不多做介紹。

下載器接受一個url作為參數(shù)，返回值為下載到的網(wǎng)頁內容（格式為str）。下面就是一個簡單的下載器，其中只有一個簡單的函數(shù)download()：

'''
-----------------------------------------------------------------
HtmlDownloader
'''
class HtmlDownloader(object):
  def download(self, url):
    print "start download"
    if url is None:
      return None
      print "url is None"
    user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36'
    headers = {'User-Agent':user_agent}
    print "start requests"
    r = requests.get(url, headers=headers)
    #判斷響應狀態(tài)
    if r.status_code == 200:
      r.encoding = 'utf-8'
      print "該頁面下載成功！{}".format(url)
      return r.text
    else:
      print "該頁面下載失??！{}".format(url)
    return None

在requests請求中設置User-Agent的目的是偽裝成瀏覽器，這是一只優(yōu)秀的爬蟲應該有的覺悟。

有些小伙伴已經(jīng)猜出來了，requests庫和我們的爬取數(shù)據(jù)密不可分，搭配著url下載器我們就可以成功抓取想要的數(shù)據(jù)了

知識點擴展：

url下載器

• URL下載器應該包含兩個倉庫，分別存放沒有爬取過的鏈接和已經(jīng)爬取過的鏈接。

• 應該有一些函數(shù)負責往上述兩個倉庫里添加鏈接

• 應該有一個函數(shù)負責從新url倉庫中隨機取出一條鏈接以便下載器爬取

• URL下載器應該能識別重復的鏈接，已經(jīng)爬取過的鏈接就不需要放進倉庫了

上述內容就是url下載器如何在python爬蟲中使用，你們學到知識或技能了嗎？如果還想學到更多技能或者豐富自己的知識儲備，歡迎關注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

新聞名稱：url下載器如何在python爬蟲中使用-創(chuàng)新互聯(lián)
文章來源：http://aaarwkj.com/article22/pjgcc.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供微信公眾號、關鍵詞優(yōu)化、品牌網(wǎng)站建設、網(wǎng)站策劃、網(wǎng)站內鏈、定制網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經(jīng)允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)