本篇文章為大家展示了在Python爬蟲(chóng)中如何將PhantomJS偽裝成Chrome瀏覽器，內(nèi)容簡(jiǎn)明扼要并且容易理解，絕對(duì)能使你眼前一亮，通過(guò)這篇文章的詳細(xì)介紹希望你能有所收獲。

10年積累的成都網(wǎng)站設(shè)計(jì)、做網(wǎng)站經(jīng)驗(yàn)，可以快速應(yīng)對(duì)客戶(hù)對(duì)網(wǎng)站的新想法和需求。提供各種問(wèn)題對(duì)應(yīng)的解決方案。讓選擇我們的客戶(hù)得到更好、更有力的網(wǎng)絡(luò)服務(wù)。我雖然不認(rèn)識(shí)你，你也不認(rèn)識(shí)我。但先網(wǎng)站制作后付款的網(wǎng)站建設(shè)流程，更有伊金霍洛免費(fèi)網(wǎng)站建設(shè)讓你可以放心的選擇與我們合作。

前言

在寫(xiě)爬蟲(chóng)的過(guò)程中，出于系統(tǒng)環(huán)境或是效率的問(wèn)題，我們經(jīng)常使用PhantomJS作為Selenium操縱的瀏覽器webdriver，而不是直接使用Chrome或FireFox的webdriver，盡管后者更加直觀。

PhantomJS的優(yōu)點(diǎn)雖然很多，但是缺點(diǎn)卻也不少，有一個(gè)不能稱(chēng)之為缺點(diǎn)的缺點(diǎn)就是，PhantomJS的瀏覽器標(biāo)識(shí)是“PhantomJS”（勇敢的做自己竟然有錯(cuò)……：））

PhantomJS的標(biāo)識(shí)本沒(méi)有什么問(wèn)題，但是在現(xiàn)在越來(lái)越多的網(wǎng)站不斷升級(jí)自己的反爬蟲(chóng)技術(shù)的情況下，PhantomJS顯然成為了一個(gè)和“requests”一樣的靶子。

只要服務(wù)器后臺(tái)識(shí)別到訪問(wèn)者的User-Agent為PhantomJS，就有可能被服務(wù)器判定為爬蟲(chóng)行為，而導(dǎo)致爬蟲(chóng)失效。

如同在requests中修改header頭域以偽裝成瀏覽器一樣，我們可以在Selenium中將PhantomJS的瀏覽器標(biāo)識(shí)修改為任意瀏覽器的標(biāo)識(shí)。

PhantomJS的瀏覽器標(biāo)識(shí)

首先來(lái)看看PhantomJS的瀏覽器標(biāo)識(shí)是怎樣的。

http://service.spiritsoft.cn/ua.html是一個(gè)獲取瀏覽器標(biāo)識(shí)User-Agent的網(wǎng)站，訪問(wèn)它就會(huì)顯示當(dāng)前使用的瀏覽器的標(biāo)識(shí)：

我們使用Selunium操縱PhantomJS訪問(wèn)http://service.spiritsoft.cn/ua.html，看看返回的結(jié)果：

很明顯的有PhantomJS的痕跡。接下來(lái)，我們對(duì)PhantomJS的瀏覽器標(biāo)識(shí)進(jìn)行修改。

偽裝成Chrome

引入一個(gè)關(guān)鍵的模塊——DesiredCapabilities：

這個(gè)模塊是干什么用的呢？我們看看源碼的解釋?zhuān)?/p>

描述了一系列封裝的瀏覽器屬性的鍵值對(duì)，大致就是用來(lái)設(shè)置webdriverde的屬性。我們使用它來(lái)設(shè)置PhantomJS的User-Agent。

首先將DesiredCapabilities轉(zhuǎn)換為一個(gè)字典，方便添加鍵值對(duì)：

然后添加一個(gè)瀏覽器標(biāo)識(shí)的鍵值對(duì)：

最后，在實(shí)例化PhantomJS中設(shè)為參數(shù)：

完整的代碼如下：

我們運(yùn)行一下代碼：

成功地將PhantomJS標(biāo)識(shí)為了Chrome瀏覽器。

上述內(nèi)容就是在Python爬蟲(chóng)中如何將PhantomJS偽裝成Chrome瀏覽器，你們學(xué)到知識(shí)或技能了嗎？如果還想學(xué)到更多技能或者豐富自己的知識(shí)儲(chǔ)備，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

當(dāng)前文章：在Python爬蟲(chóng)中如何將PhantomJS偽裝成Chrome瀏覽器
本文鏈接：http://aaarwkj.com/article30/igjhso.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供微信公眾號(hào)、關(guān)鍵詞優(yōu)化、品牌網(wǎng)站建設(shè)、域名注冊(cè)、網(wǎng)站制作、自適應(yīng)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話(huà)：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)