1 re模塊

正則表達式（Regular Expression, Regex 或 RE）又稱正規(guī)表示法或常規(guī)表示法，常用來檢索、替換那些符合某個模式的文本。

它首先設(shè)定好一些特殊的字符及字符組合，然后通過組合的“規(guī)則字符串”來對表達式進行過濾，從而獲取或匹配用戶想要的特定內(nèi)容。

1.1 re模塊

Python 通過 re 模塊提供對正則表達式的支持，但在使用正則表達式之前需要導(dǎo)入 re 模塊才能調(diào)用該模塊的功能函數(shù)。

import re

其基本步驟是：

• 將正則表達式的字符串形式編譯為 pattern 實例；
• 使用 pattern 實例處理文本并獲得一個匹配實例；
• 使用 match 實例獲得所需信息；

常用函數(shù)是 findall，原型如下：

findall(String[, pos[, endpos]])|re.findall(pattern, string[, flags])

該函數(shù)表示搜索字符串 string，然后以列表形式返回全部匹配字符串。

其中，參數(shù) re 包括3個常見值。（括號內(nèi)是完整寫法）

re.I(re.IGNORECASE)  # 使匹配忽略大小寫
re.M(re.MULTILINE)   # 允許多行匹配
re.S(re.DOTALL)      # 匹配包括換行在內(nèi)的所有字符

另外，pattern 對象是一個編譯好的正則表達式，通過 pattern 提供的一系列方法可以對文本進行匹配查找；pattern 對象不能直接實例化，必須使用 re.compile() 進行構(gòu)造。

1.2 complie方法

re 模塊包括一些常用的操作函數(shù)，比如 complie() 函數(shù)，其原型如下：

re.compile(pattern[, flags])

該函數(shù)根據(jù)包含正則表達式的字符串創(chuàng)建模式對象，返回一個 pattern 對象。其中，參數(shù) flags 是匹配模式，可以使用按位或“|”表示同時生效，也可以在正則表達式字符串中指定。

# 舉例說明如何使用正則表達式來獲取字符串中的數(shù)字內(nèi)容
import re
string = 'A1.45, b5, 6.45, 8.82'
regex = re.compile(r"\d+\.?\d*")
print(regex.findall(string))

結(jié)果如下：

 

1.3 match方法

match 方法是從字符串的 pos 下標(biāo)處開始匹配 pattern，如果 pattern 結(jié)束時已經(jīng)匹配，則返回一個 match 對象；如果匹配過程中 pattern 無法匹配，或者匹配未結(jié)束就已達到 endpos，則返回 None。

match 方法原型如下：

match(string[, pos[, endpos]]) | re.match(patter, string[, flags])

其中，參數(shù) string 表示字符串；pos 表示下標(biāo)，pos 和 endpos 的默認(rèn)值分別為 0 和 len(string)；參數(shù) flags 用于編譯 pattern 時指定匹配模式。

1.4 search方法

search 方法用于查找字符串中可以匹配成功的子字符串。從字符串的 pos 下標(biāo)處嘗試匹配 pattern，如果 pattern 結(jié)束時仍可匹配，則返回一個 match 對象，如果 pattern 結(jié)束時仍無法匹配，則將 pos 加 1 后重新嘗試匹配，若知道 pos = endpos 時仍無法匹配，則返回 None。

search 方法函數(shù)原型如下：

search(string[, pos[, endpos]]) | re.search(pattern, string[, flags])

其中，參數(shù) string 表示字符串；pos 表示下標(biāo)，pos 和 endpos 的默認(rèn)值分別為 0 和 len(string)；參數(shù) flags 用于編譯 pattern 時指定匹配模式。

1.5 group和groups方法

group([group1, …]) 方法用于獲得一個或多個分組截獲的字符串，當(dāng)它指定多個參數(shù)時將以元組形式返回 None，截獲多次的組返回最后一次截獲的字符串。

groups([default]) 方法以元組形式返回全部分組截獲的字符串，相當(dāng)于多次調(diào)用 group，其中參數(shù) default 表示沒有截獲字符串的組以該值代替，默認(rèn)為 None。

2 Python網(wǎng)絡(luò)數(shù)據(jù)爬取的常用模塊

2.1 urllib模塊

urllib 是 Python 用于獲取 URL（Uniform Resource Locators，同意資源定位器）的庫函數(shù)，可以用于爬取遠(yuǎn)程的數(shù)據(jù)并保存，甚至可以設(shè)置消息頭（header）、代理、超時認(rèn)證等。

urllib 模塊提供的上策接口使用戶能夠像讀取本地文件一樣讀取 WWW 或 FTP 上的數(shù)據(jù)，使用起來比C++、C#等編程語言更加方便。

函數(shù)原型如下：

urlopen(url, data = None, proxies = None)

該方法用于創(chuàng)建一個遠(yuǎn)程 URL 的類文件對象，然后像本地文件一樣操作這個類文件對象來獲取遠(yuǎn)程數(shù)據(jù)。其中參數(shù) url 表示遠(yuǎn)程數(shù)據(jù)的路徑，一般是網(wǎng)址；參數(shù) data 表示以 post 方式提交到 url 的數(shù)據(jù)；參數(shù) proxies 用于設(shè)置代理；返回值是一個類文件對象。

 

本實例用來介紹 urllib 庫函數(shù)爬取百度官網(wǎng)的實例

import urllib.request
import webbrowser as web
 
url = 'http://www.baidu.com'
content = urllib.request.urlopen(url)  # 打開鏈接
 
print(content.info)     # 頭信息
print(content.geturl)   # 請求url
print(content.getcode)  # HTTP狀態(tài)碼
 
# 保存至本地并通過瀏覽器打開
response = urllib.request.urlopen(url).read()
open('baidu.html', 'w').write(response.decode('UTF-8'))

結(jié)果如下：

 

urlretrieve 方法是將遠(yuǎn)程數(shù)據(jù)下載到本地，函數(shù)原型如下：

urlretrieve(url, filename = None, reporthook = None, data = None)

其中，參數(shù) filename 指定了保存到本地的路徑，如果省略該函數(shù)，則 urllib 會自動生成一個臨時文件來保存數(shù)據(jù)；

參數(shù) reporthook 是一個回調(diào)參數(shù)，當(dāng)連接上服務(wù)器，響應(yīng)的數(shù)據(jù)塊傳輸完畢時，會觸發(fā)該調(diào)回函數(shù)，通常使用該回調(diào)函數(shù)來顯示當(dāng)前的下載進度；

參數(shù) data 是指傳遞到服務(wù)器的數(shù)據(jù)。

本實例用來演示如何將新浪首頁爬取到本地，并保存在“F:/sina.html”文件中，同時顯示下載進度。

from urllib.request import urlretrieve
 
# 設(shè)置函數(shù)來表示下載文件至本地，并顯示下載進度
def Download(a, b, c):
    # a--已經(jīng)下載的數(shù)據(jù)塊
    # b--數(shù)據(jù)塊的大小
    # c--遠(yuǎn)程文件的大小
    per = 100.0 * a * b / c
    if per >100:
        per = 100
    print('%.2f%%' % per)
 
url = 'http://www.sina.com.cn'
local = 'F:/sina.html'
urlretrieve(url, local, Download)

結(jié)果如下：

 

2.2 urlparse模塊

urlparse 模塊主要是對 url 進行分析，其主要的操作時拆分和合并 url 各個部件。它可以將 url 拆分成 6 個部分，并返回元組，也可以把拆分后的部分再組成一個 url。

urlparse 模塊包括的函數(shù)主要有 urlparse、urlunparse 等。

# python3版本中已經(jīng)將urllib2、urlparse、和robotparser并入了urllib模塊中，并且修改urllib模塊
from urllib.parse import urlunparse
from urllib.parse import urlparse

函數(shù)原型如下：

urlparse(urlstring[, scheme[, allow_fragments]])

該函數(shù)將 urlstring 值解析成 6 各部分，從 urlstring 中獲取 URL，并返回元組（scheme，netloc，path、params、query、fragment）。該函數(shù)可用于確定網(wǎng)絡(luò)協(xié)議（HTTP、FTP等）、服務(wù)器地址、文件路徑等。

from urllib.parse import urlparse
 
url = urlparse('https://blog.csdn.net/IT_charge/article/details/105714745')
 
# 輸出內(nèi)容包括以下六個部分scheme, netloc, path, params, query, fragment
print(url)
print(url.netloc)

結(jié)果如下：

 

同樣可以調(diào)用 urlunparse() 函數(shù)將一個元祖內(nèi)容構(gòu)建成一條 url，函數(shù)原型如下：

urlunparse(parts)

該元組類似 urlparse 函數(shù)，它接收元組（scheme, netloc, path, params, query, fragment）后，會重新組成一個具有正確格式的URL，以便共 Python 的其他 HTML 解析模塊使用。

from urllib.parse import urlunparse
from urllib.parse import urlparse
 
url = urlparse('https://blog.csdn.net/IT_charge/article/details/105714745')
 
# 輸出內(nèi)容包括以下六個部分scheme, netloc, path, params, query, fragment
print(url)
print(url.netloc)
 
# 重組url
u = urlunparse(url)
print(u)

結(jié)果如下：

 

2.3 requests模塊

requests 模塊是用 Python 語言編寫的、基于 urllib 的第三方庫，其采用 Apache2 Licensed 開源協(xié)議的 HTTP 庫。它比 urllib 更加方便，既可以節(jié)約大量的工作，又完全滿足 HTTP 的測試需求。

安裝 requests 模塊方法

pip install requests

使用語句如下：

import requests

requests 模塊可以發(fā)送 HTTP 的兩種請求，GET 請求和 POST 請求。其中 GET 請求可以采用 url 參數(shù)傳遞數(shù)據(jù)，它從服務(wù)器上獲取數(shù)據(jù)，而 POST 請求是向服務(wù)器傳遞數(shù)據(jù)，該方法更為安全。

# 這里給出 get 和 post 請求獲取某個網(wǎng)站網(wǎng)頁的方法，得到一個命名為 response 的響應(yīng)對象，通過這個對象獲取我們所需要的信息
r = requests.get('https://github.com/timeline.json)
r = requests.post('https://httpbin.org/post)

url 通常會傳遞某種數(shù)據(jù)，這種數(shù)據(jù)采用鍵值對的參數(shù)形式置于 URL 中。

requests通過 params 關(guān)鍵字設(shè)置 URL 的參數(shù)，以一個字符串字典來提供這些參數(shù)。

# 傳遞 key1=value1 和 key2=value2 到 httpbin.org/get 后
import requests
 
payload = {'key1': 'value1', 'key2': 'value2'}
r = requests.get('http://httpbin.org/get', params = payload)
print(r.url)

結(jié)果如下：

 

requests 會自動解碼來自服務(wù)器的內(nèi)容，并且大多數(shù) Unicode 字符集都能被無縫解碼。當(dāng)請求發(fā)出后，requests 會基于 HTTP 頭部對響應(yīng)的編碼做出有根據(jù)的推測。

import requests
r = requests.get('https://github.com/timeline.json')
print(r.text)

結(jié)果如下：

 

只需要簡單地傳遞一個字典（dict）給消息頭 headers 參數(shù)即可。以網(wǎng)站“堆糖”為例，其 headers 參數(shù)在 User-Agent 里找。

定制請求頭是為了偽裝爬蟲程序，不會被網(wǎng)站輕易檢測出來，亦即不會返回 403 錯誤。

 

演示如下：

# 這里假設(shè)給 堆糖 網(wǎng)站指定一個消息頭
import requests
 
base_url = 'https://www.duitang.com/'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36'
}
response = requests.get(url=base_url, headers=headers)
print(response)

結(jié)果如下：

 

3 正則表達式爬取網(wǎng)絡(luò)數(shù)據(jù)的常見方法

3.1 爬取標(biāo)簽間的內(nèi)容

HTML語言是采用標(biāo)簽對的形式來編寫網(wǎng)站的，包括起始標(biāo)簽和結(jié)束標(biāo)簽，比如、、等。

首先可以采用正則表達式“‘’”來爬取起始標(biāo)簽之間的內(nèi)容。

# 本實例用來爬取百度官網(wǎng)標(biāo)題——“百度一下，你就知道”
import re
import requests
url = 'https://www.baidu.com/?tn=78040160_5_pg&ch=8'
response = requests.get(url).content.decode('utf-8')
title = re.findall(r'<title>(.*?)</title>', response)
print(title[0])

結(jié)果如下：

 

在 HTML 中， 超鏈接標(biāo)題  用于表示超鏈接。

import re
import requests
 
url = "http://www.baidu.com"
content = requests.get(url).content.decode('utf-8')
 
# 獲取完整的超鏈接
res1 = re.compile('<a(.*?)</a>')
urls1 = re.findall(res1, content)
for u1 in urls1:
    print(u1)
 
# 獲取超鏈接<a>和</a>之間的內(nèi)容
res2 = re.compile('<a.*?>(.*?)</a>')
urls2 = re.findall(res2, content)
for u2 in urls2:
    print(u2)

結(jié)果如下：

 

網(wǎng)頁常用的布局包括 table 布局和 div 布局，其中，table 布局中常見的標(biāo)簽包括tr，th和td，tr(table row)表示表格行為，td(table data)表示表格數(shù)據(jù)，th(table heading)表示表格表頭。

首先假設(shè)存在下面這樣一個HTML代碼。

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>表格</title>
</head>
<body>
<table border="1">
    <tr><th>編號</th><th>課程名</th></tr>
    <tr><td>001</td><td>Python程序設(shè)計語言</td></tr>
    <tr><td>002</td><td>JavaScript</td></tr>
    <tr><td>003</td><td>網(wǎng)絡(luò)數(shù)據(jù)爬取及分析</td></tr>
</table>
</body>
</html>

結(jié)果如下：

 

此時，看看怎么使用Python代碼獲取上述信息呢？

import re
 
# 獲取<tr> </tr>之間的內(nèi)容
f = open("t.html","r",encoding="utf-8") # 讀取文件
f = f.read()         # 把文件內(nèi)容轉(zhuǎn)化為字符串
trs = re.findall(r'<tr>(.*?)</tr>', f, re.S|re.M)
for tr in trs:
    print(tr)
 
# 獲取<th> </th>之間的內(nèi)容
print('\n')
for m in trs:
    ths = re.findall(r'<th>(.*?)</th>', m, re.S|re.M)
    for th in ths:
        print(th)
 
# 獲取<td> </td>之間的內(nèi)容
print('\n')
tds = re.findall(r'<td>(.*?)</td><td>(.*?)</td>', f, re.S|re.M)
for td in tds:
    print(td[0], td[1])

結(jié)果如下：

 

3.2 爬取標(biāo)簽中的參數(shù)

HTML超鏈接的基本格式為 “  鏈接內(nèi)容  ”。

import re
 
content = '''
<a href="http://news.baidu.com" name="tj_trnews" class="mnav">新聞</a>
<a href="http://www.hao123.com" name="tj_trhao123" class="mnav">hao123</a>
<a href="http://map.baidu.com" name="tj_trmap" class="mnav">地圖</a>
'''
 
res = r"(?<=href=\").+?(?=\")|(?<=href=\').+?(?=\')"
urls = re.findall(res, content, re.I|re.S|re.M) 
for url in urls:
    print(url)

結(jié)果如下：

 

在HTML中，我們可以看到各式各樣的圖片，其中圖片標(biāo)簽的基本格式為“ <img src = 圖片地址/> ” ，只有通過爬取這些圖片原地址，才能下載對應(yīng)的圖片至本地。

import re
 
content = '''
<img alt = "meizi" src = "http://img.ivsky.com/img/tupian/pre/202001/15/gancaoduo-002.jpg"/>
'''
 
res = '<img .*? src = "(.*?)"/>'
urls = re.findall(res, content, re.I|re.S|re.M)
print(urls)

結(jié)果如下：

 

在使用 Python 爬取圖片的過程中，通常會遇到圖片對應(yīng)的 URL 最后一個字段用來對圖片命名的情況，如前面的“gancaoduo-002.jpg”，因此就需要通過解析 URL “/” 后面的參數(shù)來獲取圖片名字。

import re
 
content = '''
<img alt = "meizi" src = "http://img.ivsky.com/img/tupian/pre/202001/15/gancaoduo-002.jpg"/>
'''
 
# res = '<img .*? src = "(.*?)"/>'
# urls = re.findall(res, content, re.I|re.S|re.M)
# print(urls)
 
urls = 'http://img.ivsky.com/img/tupian/pre/202001/15/gancaoduo-002.jpg'
# 采用“/”分隔字符串，進而獲取最后一個值
picture_name = urls.split('/')[-1]
print(picture_name)

結(jié)果如下：

 

3.3 字符串處理及替換

當(dāng)使用正則表達式爬取網(wǎng)頁文本時，首先需要調(diào)用 find() 函數(shù)來找到指定的位置，然后在進行進一步爬取。

# 比如先獲取class屬性為“infobox”的表格table，然后再進行定位爬取
start = content.find(r'<table class="infobox>')   # 起點位置
end = content.find(r'</table>')                   # 終點位置
infobox = text[start:end]
print(infobox)

在爬取過程中可能會爬取無關(guān)變量，此時需要對無關(guān)內(nèi)容進行過濾，這里推薦使用replace()函數(shù)和正則表達式進行處理。

import re
 
content = '''
    <tr><td>000</td><td>軟件工程</td></tr>
    <tr><td>001</td><td>Python程序設(shè)計語言<br/></td></tr>
    <tr><td>002</td><td><B>JavaScript</B></td></tr>
    <tr><td>003</td><td>網(wǎng)絡(luò)數(shù)據(jù) &nbsp; 爬取及分析</td></tr>
'''
 
res = r'<td>(.*?)</td><td>(.*?)</td>'
texts = re.findall(res, content, re.S|re.M)
for text in texts:
    print(text[0], text[1])

結(jié)果如下：

 

此時需要過濾掉多余的字符串，如換行（）、空格（ ）、加粗（），過濾代碼如下。

import re
 
content = '''
    <tr><td>000</td><td>軟件工程</td></tr>
    <tr><td>001</td><td>Python程序設(shè)計語言<br/></td></tr>
    <tr><td>002</td><td><B>JavaScript</B></td></tr>
    <tr><td>003</td><td>網(wǎng)絡(luò)數(shù)據(jù) &nbsp; 爬取及分析</td></tr>
'''
 
res = r'<td>(.*?)</td><td>(.*?)</td>'
texts = re.findall(res, content, re.S|re.M)
for text in texts:
    value0 = text[0].replace('<br/>', "").replace('&nbsp;', "")
    value1 = text[1].replace('<br/>', "").replace('&nbsp;', "")
    if '<B>' in value1:
        text_value = re.findall(r'<B>(.*?)</B>', value1, re.S|re.M)
        print(value0, text_value[0])
    else:
        print(value0, value1)

結(jié)果如下：

 

采用 replace() 函數(shù)將字符串 “” 和 “< >” 轉(zhuǎn)換成空白實現(xiàn)過濾，而加粗（）則需要使用正則表達式進行過濾 。

網(wǎng)站題目：Python正則爬蟲的方法是什么
文章路徑：http://aaarwkj.com/article14/goocge.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供自適應(yīng)網(wǎng)站、虛擬主機、品牌網(wǎng)站制作、網(wǎng)站維護、網(wǎng)站策劃、服務(wù)器托管

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)