這篇文章主要講解了“如何用Python爬取百度搜索結(jié)果并保存”，文中的講解內(nèi)容簡(jiǎn)單清晰，易于學(xué)習(xí)與理解，下面請(qǐng)大家跟著小編的思路慢慢深入，一起來(lái)研究和學(xué)習(xí)“如何用Python爬取百度搜索結(jié)果并保存”吧！

創(chuàng)新互聯(lián)是一家專(zhuān)注于網(wǎng)站設(shè)計(jì)制作、成都網(wǎng)站建設(shè)與策劃設(shè)計(jì),海晏網(wǎng)站建設(shè)哪家好?創(chuàng)新互聯(lián)做網(wǎng)站,專(zhuān)注于網(wǎng)站建設(shè)10余年,網(wǎng)設(shè)計(jì)領(lǐng)域的專(zhuān)業(yè)建站公司;建站業(yè)務(wù)涵蓋:海晏等地區(qū)。海晏做網(wǎng)站價(jià)格咨詢(xún):18980820575

 一、前言

眾所周知，百度上直接搜索關(guān)鍵字會(huì)出來(lái)一大堆東西，時(shí)常還會(huì)伴隨有廣告出現(xiàn)，不小心就點(diǎn)進(jìn)去了，還得花時(shí)間退出來(lái)，有些費(fèi)勁。

最近群里有個(gè)小伙伴提出一個(gè)需求，需要獲取百度上關(guān)于糧食的相關(guān)講話(huà)文章標(biāo)題和鏈接。正好小編最近在學(xué)習(xí)爬蟲(chóng)，就想著拿這個(gè)需求來(lái)練練手。我們都知道，對(duì)Python來(lái)說(shuō)，有大量可用的庫(kù)，實(shí)現(xiàn)起來(lái)并不難，動(dòng)手吧。

二、項(xiàng)目目標(biāo)

爬取百度上關(guān)鍵字為“糧食”的搜索結(jié)果，并保存，提交給客戶(hù)，用于進(jìn)一步分析我國(guó)糧食政策。

三、項(xiàng)目準(zhǔn)備

軟件：PyCharm

需要的庫(kù)：json， requests，etree

四、項(xiàng)目分析

1)如何進(jìn)行關(guān)鍵詞搜索?

利用response庫(kù)，直接Get網(wǎng)址獲得搜索結(jié)果。網(wǎng)址如下：

https://www.baidu.com/s?wd=糧食

2)如何獲取標(biāo)題和鏈接?

利用etree對(duì)原代碼進(jìn)行規(guī)范梳理后，通過(guò)Xpath定位到文章標(biāo)題和href，獲取標(biāo)題和文章鏈接。

3)如何保存搜索結(jié)果?

新建txt文件，對(duì)搜索結(jié)果循環(huán)寫(xiě)入，保存即可。

五、項(xiàng)目實(shí)現(xiàn)

1、第一步導(dǎo)入需要的庫(kù)

import json import requests from lxml import etree

2、第二步用requests進(jìn)行請(qǐng)求搜索

headers = {     "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36" } response = requests.get('https://www.baidu.com/s?wd=糧食&lm=1', headers=headers)

3、第三步對(duì)獲取的源代碼進(jìn)行整理分析，通過(guò)Xpath定位需要的資源

r = response.text    html = etree.HTML(r, etree.HTMLParser())    r1 = html.xpath('//h4')    r2 = html.xpath('//*[@class="c-abstract"]')    r3 = html.xpath('//*[@class="t"]/a/@href')

4、第四步把有用資源循環(huán)讀取保存

for i in range(10):     r11 = r1[i].xpath('string(.)')     r22 = r2[i].xpath('string(.)')     r33 = r3[i]     with open('ok.txt', 'a', encoding='utf-8') as c:          c.write(json.dumps(r11,ensure_ascii=False) + '\n')          c.write(json.dumps(r22, ensure_ascii=False) + '\n')          c.write(json.dumps(r33, ensure_ascii=False) + '\n')     print(r11, end='\n')     print('------------------------')     print(r22, end='\n')     print(r33)

六、效果展示

1、程序運(yùn)行結(jié)果，如下圖所示：

2、保存為txt的文件最終結(jié)果如下圖所示：

七、總結(jié)

本文介紹了如何利用Python對(duì)百度搜索結(jié)果進(jìn)行爬取、保存，是一個(gè)小爬蟲(chóng)，這也是Python好玩的地方，有大量免費(fèi)的庫(kù)可用，能幫你實(shí)現(xiàn)各種需求。工作量大，學(xué)會(huì)用Python!

感謝各位的閱讀，以上就是“如何用Python爬取百度搜索結(jié)果并保存”的內(nèi)容了，經(jīng)過(guò)本文的學(xué)習(xí)后，相信大家對(duì)如何用Python爬取百度搜索結(jié)果并保存這一問(wèn)題有了更深刻的體會(huì)，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是創(chuàng)新互聯(lián)，小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章，歡迎關(guān)注！

名稱(chēng)欄目：如何用Python爬取百度搜索結(jié)果并保存
標(biāo)題URL：http://aaarwkj.com/article12/gjgcdc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供云服務(wù)器、移動(dòng)網(wǎng)站建設(shè)、手機(jī)網(wǎng)站建設(shè)、App設(shè)計(jì)、網(wǎng)站收錄、網(wǎng)站排名

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話(huà)：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)