欧美一级特黄大片做受成人-亚洲成人一区二区电影-激情熟女一区二区三区-日韩专区欧美专区国产专区

python爬蟲如何爬取天氣預(yù)報(bào)表

小編給大家分享一下python爬蟲如何爬取天氣預(yù)報(bào)表,相信大部分人都還不怎么了解,因此分享這篇文章給大家參考一下,希望大家閱讀完這篇文章后大有收獲,下面讓我們一起去了解一下吧!

新縣網(wǎng)站制作公司哪家好,找創(chuàng)新互聯(lián)建站!從網(wǎng)頁(yè)設(shè)計(jì)、網(wǎng)站建設(shè)、微信開發(fā)、APP開發(fā)、自適應(yīng)網(wǎng)站建設(shè)等網(wǎng)站項(xiàng)目制作,到程序開發(fā),運(yùn)營(yíng)維護(hù)。創(chuàng)新互聯(lián)建站2013年至今到現(xiàn)在10年的時(shí)間,我們擁有了豐富的建站經(jīng)驗(yàn)和運(yùn)維經(jīng)驗(yàn),來保證我們的工作的順利進(jìn)行。專注于網(wǎng)站建設(shè)就選創(chuàng)新互聯(lián)建站。

1 構(gòu)造URL列表

每個(gè)月份的歷史天氣數(shù)據(jù)是通過一個(gè) Javascript 文件獲取的。因此,我們需要構(gòu)造帶爬取數(shù)據(jù)的 URL 列表,再批量爬取數(shù)據(jù)。

# 構(gòu)造2019全年的月份列表
months = []
for year in (2019,):
    for month in range(12):
        months.append("%d%02d"%(year, month+1))
todo_urls = [
    "http://tianqi.2345.com/t/wea_history/js/"+month+"/58457_"+month+".js"
    for month in months
]

2 批量下載數(shù)據(jù)

使用 requests 庫(kù)獲取 js 文件中的數(shù)據(jù),并存到 datas 變量中。

import requests
datas = []
for url in todo_urls:
    r = requests.get(url, headers = headers)
    if r.status_code!=200:
        raise Exception()
    # 去除javascript前后的字符串,得到一個(gè)js格式的JSON
    data = r.text.lstrip("var weather_str=").rstrip(";")
datas.append(data)

3 解析數(shù)據(jù)

我們從 js 文件獲取的數(shù)據(jù) json 格式存儲(chǔ)的,需要使用 demjson 對(duì)數(shù)據(jù)進(jìn)行解析。

# 解析所有月份的數(shù)據(jù)
all_datas = []
 
for data in datas:
    tqInfos = demjson.decode(data)["tqInfo"]
all_datas.extend([x for x in tqInfos if len(x)>0])

4 將結(jié)果導(dǎo)入 csv 文件

import csv
with open('./hangzhou_tianqi_2019.csv', 'w', newline='', encoding='utf-8') as csv_file:
    writer = csv.writer(csv_file)
    columns = list(all_datas[0].keys())
    writer.writerow(columns)
    
    for data in all_datas:
        writer.writerow([data[column] for column in columns])

5 結(jié)果展示

python爬蟲如何爬取天氣預(yù)報(bào)表

以上是python爬蟲如何爬取天氣預(yù)報(bào)表的所有內(nèi)容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內(nèi)容對(duì)大家有所幫助,如果還想學(xué)習(xí)更多知識(shí),歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道!

分享文章:python爬蟲如何爬取天氣預(yù)報(bào)表
轉(zhuǎn)載源于:http://aaarwkj.com/article4/peihoe.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供全網(wǎng)營(yíng)銷推廣、網(wǎng)站營(yíng)銷、網(wǎng)站建設(shè)企業(yè)建站、小程序開發(fā)、定制網(wǎng)站

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)

成都app開發(fā)公司
精品日韩av高清一区二区三区| 久草视频亚洲免费在线| 偷拍一区二区三区免费| 亚洲人午夜射精精品日韩| 日本一区欧美二区精品| 国产成人91精品免费看片| 侵犯人妻中文字幕一区二区| 黄色三级亚洲男人的天堂| 国内精日韩欧中文的话| 五月激情开心久久婷婷| 国产精品一区二区高潮| 丰满熟妇久久人妻同堂av| 亚洲视频免费在线一区| 黄色日韩大片在线观看| 国产精品久久99粉嫩| 国产 亚洲 一区 二区| 欧美日韩一区二区午夜福利| 18岁下禁止看的视频| 绯色av一区二区三区蜜臀| 成年人在线免费观看国产| 色老头视频一区二区三区 | 久草免费福利视频资源站| 日日添夜夜添天天操| 欧美一区二区三区日韩色| 欧美伦理片三级在线观看| 欧美一区日韩二区在线| 国产91精品系列在线观看| 日韩高清不卡免费视频| 青青草原三区在线播放| 亚洲国产成人91精品| 成人做爰片免费看视频| 午夜看片福利欧美熟女| 黄色国产一区二区三区| 亚洲最大午夜福利视频| 亚洲精品日韩国产3区| 丁香色婷婷国产精品视频| 色一区欧美一区亚洲一区| 亚洲中少妇久久中文字幕| 欧美日本午夜福利在线观看| 国产精品高清国产三级av| 日本熟妇中文字幕系列|