本篇內(nèi)容主要講解“怎么用Python爬取王者榮耀皮膚”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實(shí)用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“怎么用Python爬取王者榮耀皮膚”吧!

建網(wǎng)站原本是網(wǎng)站策劃師、網(wǎng)絡(luò)程序員、網(wǎng)頁設(shè)計(jì)師等，應(yīng)用各種網(wǎng)絡(luò)程序開發(fā)技術(shù)和網(wǎng)頁設(shè)計(jì)技術(shù)配合操作的協(xié)同工作。創(chuàng)新互聯(lián)公司專業(yè)提供網(wǎng)站設(shè)計(jì)、網(wǎng)站制作,網(wǎng)頁設(shè)計(jì),網(wǎng)站制作(企業(yè)站、成都響應(yīng)式網(wǎng)站建設(shè)公司、電商門戶網(wǎng)站)等服務(wù),從網(wǎng)站深度策劃、搜索引擎友好度優(yōu)化到用戶體驗(yàn)的提升,我們力求做到極致!

基本開發(fā)環(huán)境

• Python 3.6

• Pycharm

相關(guān)模塊的使用

import requests  # 第三方模塊
import parsel
import time  # 時(shí)間模塊

安裝Python并添加到環(huán)境變量，pip安裝需要的相關(guān)模塊即可。

一、確定目標(biāo)需求

 

根據(jù)re、xpath或者css選擇器 都是可以提取數(shù)據(jù)的，還是比較簡單的。爬取IP主要是因?yàn)樵谑褂门老x頻繁抓取數(shù)據(jù)的時(shí)候，某些網(wǎng)站是比較容易被封IP的。

雖然網(wǎng)站有很多關(guān)于免費(fèi)的IP代理可以使用，但是基本上都是用不了的。

完整代碼

import requests  # 第三方模塊
import parsel
import time  # 時(shí)間模塊


def check_ip(proxies_list):
    """檢測代理ip的可用性"""

    use_proxy = []
    for ip in proxies_list:
        try:
            response = requests.get(url='https://www.baidu.com', proxies=ip, timeout=2)
            if response.status_code == 200:
                use_proxy.append(ip)
        except Exception as e:
            print('當(dāng)前代理ip: ', ip, '請求超時(shí), 檢測不合格!!!')
        else:
            print('當(dāng)前代理ip: ', ip, '檢測通過')

    return use_proxy


proxy_list = []

for page in range(1, 11):
    time.sleep(0.5)
    print(f'==================正在抓取第{page}頁數(shù)據(jù)================')
    # 1.確定數(shù)據(jù)所在地址<url>(分析網(wǎng)頁性質(zhì)<靜態(tài)網(wǎng)頁\動態(tài)網(wǎng)頁>)
    url = f'http://www.ip3366.net/?stype=1&page={page}'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36'}

    # 2.發(fā)送網(wǎng)絡(luò)請求
    response = requests.get(url=url, headers=headers)
    html_data = response.text  # str
    # print(html_data)

    # 3.解析數(shù)據(jù)
    # 3.1 轉(zhuǎn)換數(shù)據(jù)類型
    selector = parsel.Selector(html_data)
    # 3.2 數(shù)據(jù)提取
    trs = selector.xpath('//table[@class="table table-bordered table-striped"]/tbody/tr')  # tr

    """
    # 代理ip的結(jié)構(gòu)
        proxies_dict = {
            "http": "http://" + ip:端口,
            "https": "http://" + ip:端口,
        }
    """

    for tr in trs:
        ip_num = tr.xpath('./td[1]/text()').get()
        ip_port = tr.xpath('./td[2]/text()').get()
        # print(ip_num, ip_port)

        ip_proxy = ip_num + ':' + ip_port
        # print(ip_proxy)

        proxies_dict = {
            'http': "http://" + ip_proxy,
            'https': "https://" + ip_proxy
        }

        # 4.數(shù)據(jù)的保存
        proxy_list.append(proxies_dict)
        print('保存成功:', proxies_dict)

print(proxy_list)
print('獲取到的代理ip數(shù)量: ', len(proxy_list))

print('============================正在檢測代理===================================')
can_use = check_ip(proxy_list)
print('可用代理:', can_use)
print('可用代理數(shù)量:', len(can_use))

到此，相信大家對“怎么用Python爬取王者榮耀皮膚”有了更深的了解，不妨來實(shí)際操作一番吧！這里是創(chuàng)新互聯(lián)網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！

文章名稱：怎么用Python爬取王者榮耀皮膚
分享URL：http://aaarwkj.com/article14/pjcoge.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供微信公眾號、微信小程序、營銷型網(wǎng)站建設(shè)、Google、品牌網(wǎng)站制作、網(wǎng)站設(shè)計(jì)公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)