本篇文章為大家展示了Requests模塊如何使用,內(nèi)容簡(jiǎn)明扼要并且容易理解,絕對(duì)能使你眼前一亮,通過(guò)這篇文章的詳細(xì)介紹希望你能有所收獲。
專注于為中小企業(yè)提供做網(wǎng)站、成都網(wǎng)站設(shè)計(jì)服務(wù),電腦端+手機(jī)端+微信端的三站合一,更高效的管理,為中小企業(yè)城區(qū)免費(fèi)做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都,凝聚了一批互聯(lián)網(wǎng)行業(yè)人才,有力地推動(dòng)了超過(guò)千家企業(yè)的穩(wěn)健成長(zhǎng),幫助中小企業(yè)通過(guò)網(wǎng)站建設(shè)實(shí)現(xiàn)規(guī)模擴(kuò)充和轉(zhuǎn)變。
Requests模塊是一個(gè)用于網(wǎng)絡(luò)訪問(wèn)的模塊,其實(shí)類似的模塊有很多,比如urllib,urllib2,httplib,httplib2,他們基本都提供相似的功能,那為什么Requests模塊就能夠脫引而出呢?可以打開(kāi)它的官網(wǎng)看一下,是一個(gè)“人類“用的http模塊。那么,它究竟怎樣的人性化呢?相信如果你之前用過(guò)urllib之類的模塊的話,對(duì)比下就會(huì)發(fā)現(xiàn)它確實(shí)很人性化。
一、導(dǎo)入
下載完成后,導(dǎo)入模塊很簡(jiǎn)單,代碼如下:
import requests
二、請(qǐng)求url
這里我們列出最常見(jiàn)的發(fā)送get或者post請(qǐng)求的語(yǔ)法。
1.發(fā)送無(wú)參數(shù)的get請(qǐng)求:
r=requests.get("http://pythontab.com/justTest")
現(xiàn)在,我們得到了一個(gè)響應(yīng)對(duì)象r,我們可以利用這個(gè)對(duì)象得到我們想要的任何信息。
上面的例子中,get請(qǐng)求沒(méi)有任何參數(shù),那如果請(qǐng)求需要參數(shù)怎么辦呢?
2.發(fā)送帶參數(shù)的get請(qǐng)求
payload = {'key1': 'value1', 'key2': 'value2'} r = requests.get("http://pythontab.com/justTest", params=payload)
以上得知,我們的get參數(shù)是以params關(guān)鍵字參數(shù)傳遞的。
我們可以打印請(qǐng)求的具體url來(lái)看看到底對(duì)不對(duì):
>>>print r.url http://pythontab.com/justTest?key2=value2&key1=value1
可以看到確實(shí)訪問(wèn)了正確的url。
還可以傳遞一個(gè)list給一個(gè)請(qǐng)求參數(shù):
>>> payload = {'key1': 'value1', 'key2': ['value2', 'value3']} >>> r = requests.get("http://pythontab.com/justTest", params=payload) >>> print r.url http://pythontab.com/justTest?key1=value1&key2=value2&key2=value3
以上就是get請(qǐng)求的基本形式。
3.發(fā)送post請(qǐng)求
r = requests.post("http://pythontab.com/postTest", data = {"key":"value"})
以上得知,post請(qǐng)求參數(shù)是以data關(guān)鍵字參數(shù)來(lái)傳遞的。
現(xiàn)在的data參數(shù)傳遞的是字典,我們也可以傳遞一個(gè)json格式的數(shù)據(jù),如下:
>>> import json >>> import requests >>> payload = {"key":"value"} >>> r = requests.post("http://pythontab.com/postTest", data = json.dumps(payload))
由于發(fā)送json格式數(shù)據(jù)太常見(jiàn)了,所以在Requests模塊的高版本中,又加入了json這個(gè)關(guān)鍵字參數(shù),可以直接發(fā)送json數(shù)據(jù)給post請(qǐng)求而不用再使用json模塊了,見(jiàn)下:
>>> payload = {"key":"value"} >>> r = requests.post("http://pythontab.com/postTest", json=payload)
如果我們想post一個(gè)文件怎么辦呢?這個(gè)時(shí)候就需要用到files參數(shù)了:
>>> url = 'http://pythontab.com/postTest' >>> files = {'file': open('report.xls', 'rb')} >>> r = requests.post(url, files=files) >>> r.text
我們還可以在post文件時(shí)指定文件名等額外的信息:
>>> url = 'http://pythontab.com/postTest' >>> files = {'file': ('report.xls', open('report.xls', 'rb'), 'application/vnd.ms-excel', {'Expires': '0'})} >>> r = requests.post(url, files=files)
tips:強(qiáng)烈建議使用二進(jìn)制模式打開(kāi)文件,因?yàn)槿绻晕谋疚募袷酱蜷_(kāi)時(shí),可能會(huì)因?yàn)椤癈ontent-Length”這個(gè)header而出錯(cuò)。
可以看到,使用Requests發(fā)送請(qǐng)求簡(jiǎn)單吧!
三、獲取返回信息
下面我們來(lái)看下發(fā)送請(qǐng)求后如何獲取返回信息。我們繼續(xù)使用最上面的例子:
>>> import requests >>> r=requests.get('http://pythontab.com/justTest') >>> r.text
r.text是以什么編碼格式輸出的呢?
>>> r.encoding 'utf-8'
原來(lái)是以u(píng)tf-8格式輸出的。那如果我想改一下r.text的輸出格式呢?
>>> r.encoding = 'ISO-8859-1'
這樣就把輸出格式改為“ISO-8859-1”了。
還有一個(gè)輸出語(yǔ)句,叫r.content,那么這個(gè)和r.text有什么區(qū)別呢?r.content返回的是字節(jié)流,如果我們請(qǐng)求一個(gè)圖片地址并且要保存圖片的話,就可以用到,這里舉個(gè)代碼片段如下:
def saveImage( imgUrl,imgName ="default.jpg" ): r = requests.get(imgUrl, stream=True) image = r.content destDir="D:\" print("保存圖片"+destDir+imgName+"\n") try: with open(destDir+imgName ,"wb") as jpg: jpg.write(image) return except IOError: print("IO Error") return finally: jpg.close
剛才介紹的r.text返回的是字符串,那么,如果請(qǐng)求對(duì)應(yīng)的響應(yīng)是一個(gè)json,那我可不可以直接拿到j(luò)son格式的數(shù)據(jù)呢?r.json()就是為這個(gè)準(zhǔn)備的。
我們還可以拿到服務(wù)器返回的原始數(shù)據(jù),使用r.raw.read()就可以了。不過(guò),如果你確實(shí)要拿到原始返回?cái)?shù)據(jù)的話,記得在請(qǐng)求時(shí)加上“stream=True”的選項(xiàng),如:
r = requests.get('https://api.github.com/events', stream=True)。
我們也可以得到響應(yīng)狀態(tài)碼:
>>> r = requests.get('http://pythontab.com/justTest') >>> r.status_code 200
也可以用requests.codes.ok來(lái)指代200這個(gè)返回值:
>>> r.status_code == requests.codes.ok True
四、關(guān)于headers
我們可以打印出響應(yīng)頭:
>>> r= requests.get("http://pythontab.com/justTest") >>> r.headers `r.headers`返回的是一個(gè)字典,例如: { 'content-encoding': 'gzip', 'transfer-encoding': 'chunked', 'connection': 'close', 'server': 'nginx/1.0.4', 'x-runtime': '147ms', 'etag': '"e1ca502697e5c9317743dc078f67693a"', 'content-type': 'application/json' }
我們可以使用如下方法來(lái)取得部分響應(yīng)頭以做判斷:
r.headers['Content-Type']
或者
r.headers.get('Content-Type')
如果我們想獲得請(qǐng)求頭(也就是我們向服務(wù)器發(fā)送的頭信息)該怎么辦呢?可以使用r.request.headers直接獲得。
同時(shí),我們?cè)谡?qǐng)求數(shù)據(jù)時(shí)也可以加上自定義的headers(通過(guò)headers關(guān)鍵字參數(shù)傳遞):
>>> headers = {'user-agent': 'myagent'} >>> r= requests.get("http://pythontab.com/justTest",headers=headers)
五、關(guān)于Cookies
如果一個(gè)響應(yīng)包含cookies的話,我們可以使用下面方法來(lái)得到它們:
>>> url = 'http://www.pythontab.com' >>> r = requests.get(url) >>> r.cookies['example_cookie_name'] 'example_cookie_value'
我們也可以發(fā)送自己的cookie(使用cookies關(guān)鍵字參數(shù)):
>>> url = 'http://pythontab.com/cookies' >>> cookies={'cookies_are':'working'} >>> r = requests.get(url, cookies=cookies)
六、關(guān)于重定向
有時(shí)候我們?cè)谡?qǐng)求url時(shí),服務(wù)器會(huì)自動(dòng)把我們的請(qǐng)求重定向,比如github會(huì)把我們的http請(qǐng)求重定向?yàn)閔ttps請(qǐng)求。我們可以使用r.history來(lái)查看重定向:
>>> r = requests.get('http://pythontab.com/') >>> r.url 'http://pythontab.com/' >>> r.history []
從上面的例子中可以看到,我們使用http協(xié)議訪問(wèn),結(jié)果在r.url中,打印的卻是https協(xié)議。那如果我非要服務(wù)器使用http協(xié)議,也就是禁止服務(wù)器自動(dòng)重定向,該怎么辦呢?使用allow_redirects 參數(shù):
r = requests.get('http://pythontab.com', allow_redirects=False)
七、關(guān)于請(qǐng)求時(shí)間
我們可以使用timeout參數(shù)來(lái)設(shè)定url的請(qǐng)求超時(shí)時(shí)間(時(shí)間單位為秒):
requests.get('http://pythontab.com', timeout=1)
八、關(guān)于代理
我們也可以在程序中指定代理來(lái)進(jìn)行http或https訪問(wèn)(使用proxies關(guān)鍵字參數(shù)),如下:
proxies = { "http": "http://10.10.1.10:3128", "https": "http://10.10.1.10:1080", } requests.get("http://pythontab.com", proxies=proxies)
九、關(guān)于session
我們有時(shí)候會(huì)有這樣的情況,我們需要登錄某個(gè)網(wǎng)站,然后才能請(qǐng)求相關(guān)url,這時(shí)就可以用到session了,我們可以先使用網(wǎng)站的登錄api進(jìn)行登錄,然后得到session,最后就可以用這個(gè)session來(lái)請(qǐng)求其他url了:
s=requests.Session() login_data={'form_email':'youremail@example.com','form_password':'yourpassword'} s.post("http://pythontab.com/testLogin",login_data) r = s.get('http://pythontab.com/notification/') print r.text
其中,form_email和form_password是豆瓣登錄框的相應(yīng)元素的name值。
十、下載頁(yè)面
使用Requests模塊也可以下載網(wǎng)頁(yè),代碼如下:
r=requests.get("http://www.pythontab.com") with open("haha.html","wb") as html: html.write(r.content) html.close()
上述內(nèi)容就是Requests模塊如何使用,你們學(xué)到知識(shí)或技能了嗎?如果還想學(xué)到更多技能或者豐富自己的知識(shí)儲(chǔ)備,歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。
文章名稱:Requests模塊如何使用
URL分享:http://aaarwkj.com/article36/igsgsg.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供做網(wǎng)站、App設(shè)計(jì)、定制網(wǎng)站、App開(kāi)發(fā)、建站公司、網(wǎng)站改版
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)