小編給大家分享一下python爬蟲Cookie的使用方法,相信大部分人都還不怎么了解,因此分享這篇文章給大家參考一下,希望大家閱讀完這篇文章后大有收獲,下面讓我們一起去了解一下吧!
成都創(chuàng)新互聯(lián)專業(yè)提供綿陽電信機(jī)房服務(wù),為用戶提供五星數(shù)據(jù)中心、電信、雙線接入解決方案,用戶可自行在線購買綿陽電信機(jī)房服務(wù),并享受7*24小時(shí)金牌售后服務(wù)。
一、獲取 Cookie 保存到變量
首先,我們先利用 CookieJar 對(duì)象實(shí)現(xiàn)獲取cookie的功能,存儲(chǔ)到變量中,先來感受一下
import urllib2 import cookielib #聲明一個(gè)CookieJar對(duì)象實(shí)例來保存cookie cookie = cookielib.CookieJar() #利用urllib2庫的HTTPCookieProcessor對(duì)象來創(chuàng)建cookie處理器 handler=urllib2.HTTPCookieProcessor(cookie) #通過handler來構(gòu)建opener opener = urllib2.build_opener(handler) #此處的open方法同urllib2的urlopen方法,也可以傳入request response = opener.open('http://www.baidu.com') for item in cookie: print 'Name = '+item.name print 'Value = '+item.value
我們使用以上方法將cookie保存到變量中,然后打印出了cookie中的值,運(yùn)行結(jié)果如下
Name = BAIDUID Value = B07B663B645729F11F659C02AAE65B4C:FG=1 Name = BAIDUPSID Value = B07B663B645729F11F659C02AAE65B4C Name = H_PS_PSSID Value = 12527_11076_1438_10633 Name = BDSVRTM Value = 0 Name = BD_HOME Value = 0
二、保存 Cookie 到文件
在上面的方法中,我們將 cookie 保存到了cookie這個(gè)變量中,如果我們想將cookie保存到文件中該怎么做呢?這時(shí),我們就要用到FileCookieJar這個(gè)對(duì)象了,在這里我們使用它的子類MozillaCookieJar來實(shí)現(xiàn)Cookie的保存
import cookielib import urllib2 #設(shè)置保存cookie的文件,同級(jí)目錄下的cookie.txt filename = 'cookie.txt' #聲明一個(gè)MozillaCookieJar對(duì)象實(shí)例來保存cookie,之后寫入文件 cookie = cookielib.MozillaCookieJar(filename) #利用urllib2庫的HTTPCookieProcessor對(duì)象來創(chuàng)建cookie處理器 handler = urllib2.HTTPCookieProcessor(cookie) #通過handler來構(gòu)建opener opener = urllib2.build_opener(handler) #創(chuàng)建一個(gè)請(qǐng)求,原理同urllib2的urlopen response = opener.open("http://www.baidu.com") #保存cookie到文件 cookie.save(ignore_discard=True, ignore_expires=True)
三、從文件中獲取 Cookie 并訪問
那么我們已經(jīng)做到把 Cookie 保存到文件中了,如果以后想使用,可以利用下面的方法來讀取cookie并訪問網(wǎng)站,感受一下
import cookielib import urllib2 #創(chuàng)建MozillaCookieJar實(shí)例對(duì)象 cookie = cookielib.MozillaCookieJar() #從文件中讀取cookie內(nèi)容到變量 cookie.load('cookie.txt', ignore_discard=True, ignore_expires=True) #創(chuàng)建請(qǐng)求的request req = urllib2.Request("http://www.baidu.com") #利用urllib2的build_opener方法創(chuàng)建一個(gè)opener opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie)) response = opener.open(req) print response.read()
拓展:
cookielib 模塊的主要作用是提供可存儲(chǔ)cookie的對(duì)象,以便于與urllib2模塊配合使用來訪問Internet資源。Cookielib模塊非常強(qiáng)大,我們可以利用本模塊的CookieJar類的對(duì)象來捕獲cookie并在后續(xù)連接請(qǐng)求時(shí)重新發(fā)送,比如可以實(shí)現(xiàn)模擬登錄功能。該模塊主要的對(duì)象有CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。 它們的關(guān)系:CookieJar—— 派生 ——>FileCookieJar—— 派生 ——->MozillaCookieJar和LWPCookieJar
以上是python爬蟲Cookie的使用方法的所有內(nèi)容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內(nèi)容對(duì)大家有所幫助,如果還想學(xué)習(xí)更多知識(shí),歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道!
分享題目:python爬蟲Cookie的使用方法
瀏覽地址:http://aaarwkj.com/article24/godoce.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供建站公司、網(wǎng)站制作、App開發(fā)、用戶體驗(yàn)、云服務(wù)器、標(biāo)簽優(yōu)化
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)
移動(dòng)網(wǎng)站建設(shè)知識(shí)