Handler和Opener

創(chuàng)新互聯(lián)建站主營三穗網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營網(wǎng)站建設(shè)方案,成都APP應(yīng)用開發(fā),三穗h5微信小程序開發(fā)搭建,三穗網(wǎng)站營銷推廣歡迎三穗等地區(qū)企業(yè)咨詢

Handler處理器和自定義Opener

opener是urllib2.OpenerDirector的實例，我們之前一直在使用urlopen，它是一個特殊的opener(也就是我們構(gòu)建好的)。

但是urlopen()方法不支持代理、cookie等其他的HTTP/GTTPS高級功能。所有要支持這些功能：

1.使用相關(guān)的Handler處理器來創(chuàng)建特定功能的處理器對象；

2.然后通過urllib2.build_opener()方法使用這些處理器對象，創(chuàng)建自定義opener對象；

3.使用自定義的opener對象，調(diào)用open()方法發(fā)送請求。

如果程序里所有的請求都使用自定義的opener,可以使用urllib2.install_open()將自定義的opener對象定義為全局opener,表示如果之后凡是調(diào)用urlopen,都將使用這個opener(根據(jù)自己的需求來選擇)

自定義opener()

# _*_ coding:utf-8 _*_
import urllib2
# 構(gòu)建一個HTTPHandler處理器對象，支持處理HTTP的請求
http_handler = urllib2.HTTPHandler()
# 調(diào)用build_opener()方法構(gòu)建一個自定義的opener對象，參數(shù)是構(gòu)建的處理器對象
opener = urllib2.build_opener(http_handler)
request = urllib2.Request('http://www.139.com')
# 調(diào)用自定義opener對象的open()方法,發(fā)送request請求
response = opener.open(request) 
print response.read()

設(shè)置代理IP

很多網(wǎng)站會檢測某一段時間某個IP的訪問次數(shù)(通過流量統(tǒng)計，系統(tǒng)日志等)，如果訪問次數(shù)多的不像正常人，它會禁止這個IP的訪問。

所以我們可以設(shè)置一些代理服務(wù)器，每隔一段時間換一個代理，就算IP被禁止，依然可以換個IP繼續(xù)爬取。

urllib2中通過ProxyHandler來設(shè)置使用代理服務(wù)器，使用自定義opener來使用代理：

代理IP網(wǎng)站：http://www.xicidaili.com/;https://www.kuaidaili.com/free/inha/

# _*_ coding:utf-8 _*_
import urllib2
# 構(gòu)建一個Handler處理器對象，參數(shù)是一個字典類型，包括代理類型和代理服務(wù)器IP+Port
httpproxy_handler = urllib2.ProxyHandler({'http':'118.114.77.47:8080'})
#使用代理
opener = urllib2.build_opener(httpproxy_handler)
request = urllib2.Request('http://www.baidu.com/s')
#1 如果這么寫，只有使用opener.open()方法發(fā)送請求才使用自定義的代理，而urlopen()則不使用自定義代理。
response = opener.open(request)
#12如果這么寫，就是將opener應(yīng)用到全局，之后所有的，不管是opener.open()還是urlopen() 發(fā)送請求，都將使用自定義代理。
#urllib2.install_opener(opener)
#response = urllib2.urlopen(request)
print response.read()

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

網(wǎng)頁題目：python爬取準(zhǔn)備四定義Opener和設(shè)置代理IP-創(chuàng)新互聯(lián)
文章路徑：http://aaarwkj.com/article24/phoce.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站策劃、網(wǎng)頁設(shè)計公司、做網(wǎng)站、網(wǎng)站設(shè)計公司、靜態(tài)網(wǎng)站、商城網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)