python爬蟲怎么定時獲取網(wǎng)頁數(shù)據(jù)
這篇文章給大家分享的是有關python爬蟲怎么定時獲取網(wǎng)頁數(shù)據(jù)的內(nèi)容。小編覺得挺實用的，因此分享給大家做個參考。一起跟隨小編過來看看吧。
創(chuàng)新互聯(lián)始終堅持【策劃先行，效果至上】的經(jīng)營理念，通過多達十載累計超上千家客戶的網(wǎng)站建設總結了一套系統(tǒng)有效的全網(wǎng)營銷推廣解決方案，現(xiàn)已廣泛運用于各行各業(yè)的客戶，其中包括：水處理設備等企業(yè)，備受客戶稱譽。
在代碼方面，我們用time函數(shù)表明想要查取的時間間隔和截止時間就可以了。
#!/usr/bin/python3
# -*- coding: utf-8 -*-
import requests
from bs4 import BeautifulSoup
import time
from datetime import datetime
#請求數(shù)據(jù)
def get_data():
#Headers 里面大小寫均可
url = ''
headers={'Users-Agent':"Mozilla/5.0(X11;Ubuntu;Linux )x86_64;rv:52.0)Gecko/20100101 Firefox/52.0"}
data=requests.get(url,headers=headers)
# print(data.text)
#解析數(shù)據(jù)
soup=BeautifulSoup(data.text,'html.parser')
print(datetime.now(),soup)
return soup
if __name__ == '__main__':
get_data()
while True:
if datetime.now() < datetime(2018, 9,8, 23, 59, 59): # 查詢截止時間為2018-9-8 23:59:59
get_data()
time.sleep(600) # 每隔一個小時查詢一次
else:
print("已到截止時間，停止取數(shù)。")
break感謝各位的閱讀！關于python爬蟲怎么定時獲取網(wǎng)頁數(shù)據(jù)就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，讓大家可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！
當前文章：python爬蟲怎么定時獲取網(wǎng)頁數(shù)據(jù)
網(wǎng)站路徑：http://aaarwkj.com/article30/pcsdpo.html
成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站收錄、小程序開發(fā)、定制網(wǎng)站、網(wǎng)站內(nèi)鏈、商城網(wǎng)站、服務器托管
聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)
