php采集大數(shù)據(jù)的方案

1、建議你讀寫數(shù)據(jù)和下載圖片分開，各用不同的進程完成。

網(wǎng)站建設(shè)、基于成都h5網(wǎng)站建設(shè)技術(shù)的Web開發(fā)、手機站開發(fā)、微信開發(fā)等互聯(lián)網(wǎng)應(yīng)用服務(wù)。成都創(chuàng)新互聯(lián)公司始終關(guān)注著互聯(lián)網(wǎng)行業(yè)的前沿動態(tài)，創(chuàng)新互聯(lián)堅信：真誠的態(tài)度，勤奮的工作是我們贏得客戶信賴的基礎(chǔ)；而不斷創(chuàng)新、力求完美，才是創(chuàng)新互聯(lián)共同邁向美好未來的保證。

比如說，取數(shù)據(jù)用get-data.php，下載圖片用get-image.php。

2、多進程的話，php可以簡單的用pcntl_fork()。這樣可以并發(fā)多個子進程。

但是我不建議你用fork，我建議你安裝一個gearman worker。這樣你要并發(fā)幾個，就啟幾個worker，寫代碼簡單，根本不用在代碼里考慮thread啊，process等等。

3、綜上，解決方案這樣：

（1）安裝gearman worker。

（2）寫一個get-data.php，在crontab里設(shè)置它每5分鐘執(zhí)行一次，只負(fù)責(zé)讀數(shù)據(jù)，然后把讀回來的數(shù)據(jù)一條一條的扔到 gearman worker的隊列里；

然后再寫一個處理數(shù)據(jù)的腳本作為worker，例如叫process-data.php，這個腳本常駐內(nèi)存。它作為worker從geraman 隊列里讀出一條一條的數(shù)據(jù)，然后跟你的數(shù)據(jù)庫老數(shù)據(jù)比較，進行你的業(yè)務(wù)邏輯。如果你要10個并發(fā)，那就啟動10個process-data.php好了。處理完后，如果圖片地址有變動需要下載圖片，就把圖片地址扔到 gearman worker的另一個隊列里。

（3）再寫一個download-data.php，作為下載圖片的worker，同樣，你啟動10個20個并發(fā)隨便你。這個進程也常駐內(nèi)存運行，從gearman worker的圖片數(shù)據(jù)隊列里取數(shù)據(jù)出來，下載圖片

4、常駐進程的話，就是在代碼里寫個while(true)死循環(huán)，讓它一直運行好了。如果怕內(nèi)存泄露啥的，你可以每循環(huán)10萬次退出一下。然后在crontab里設(shè)置，每分鐘檢查一下進程有沒有啟動，比如說這樣啟動3個process-data worker進程：

* * * * * flock -xn /tmp/process-data.1.lock -c '/usr/bin/php /process-data.php /dev/null 21'

* * * * * flock -xn /tmp/process-data.2.lock -c '/usr/bin/php /process-data.php /dev/null 21'

* * * * * flock -xn /tmp/process-data.3.lock -c '/usr/bin/php /process-data.php /dev/null 21'

不知道你明白了沒有

怎樣用php 采集百度地圖的數(shù)據(jù)

一般來說，PHP采集數(shù)據(jù)最簡單的辦法是使用file_get_content函數(shù)，功能更強大的推薦使用cURL函數(shù)庫。

怎么用phpquery抓取網(wǎng)頁實時數(shù)據(jù)？使用CI框架

phpquery和框架并無關(guān)系，我現(xiàn)在也是用CI的

先將pq引入進來

$content = file_get_content('');

phpQuery::newDocumentHTML($content);

$containers = pq("xxxx");就可以了，但你要抓取這個網(wǎng)站數(shù)據(jù)，他數(shù)據(jù)是js加載的，所以你只需要

$content = file_get_content(';dataSet.nd=1440145968553dataSet.rows=100dataSet.page=1dataSet.sidx=dataSet.sord=asc');這個地址返回是json數(shù)據(jù)，你直接json_decode()就OK

PHP或者python進行數(shù)據(jù)采集和分析，有什么比較成熟的框架

Python：

1.requests 很好用的http庫，中文文檔：Requests: 讓 HTTP 服務(wù)人類

2.BeautifulSoup 很好用很強大的html解析庫，中文文檔：Beautiful Soup 4.4.0 文檔

3.Scrapy 知名爬蟲框架，中文文檔：Scrapy 0.25 文檔

php 百度 知道數(shù)據(jù)采集

問題其實不難，自己都能寫。給你幾個思路吧：

1.在百度知道中，輸入linux，然后會出現(xiàn)列表。復(fù)制瀏覽器地址欄內(nèi)容。

然后翻頁，在復(fù)制地址欄內(nèi)容，看看有什么不同，不同之處，就是你要循環(huán)分頁的i值。

當(dāng)然這個是笨方法。

2.使用php的file或者file_get_contents函數(shù)，獲取鏈接URL的內(nèi)容。

3.通過php正則表達(dá)式，獲取你需要的3個字段內(nèi)容。

4.寫入數(shù)據(jù)庫。

需要注意的是，百度知道有可能做了防抓取的功能，你剛一抓幾個頁面，可能會被禁止。

建議也就抓10頁數(shù)據(jù)。

其實不難，你肯定寫的出來。 還有，網(wǎng)上應(yīng)該有很多抓取工具，你找找看，然后將抓下來的數(shù)據(jù)

在做分析。寫入數(shù)據(jù)庫。

新聞名稱：php采集實時數(shù)據(jù)分析,php 采集
當(dāng)前地址：http://aaarwkj.com/article46/dsiichg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供電子商務(wù)、服務(wù)器托管、營銷型網(wǎng)站建設(shè)、網(wǎng)站策劃、網(wǎng)站建設(shè)、網(wǎng)站設(shè)計公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)