php curl 大量數(shù)據(jù)采集

這個需要配合js，打開一個html頁面，首先js用ajax請求頁面，返回第一個頁面信息確定處理完畢（ajax有強制同步功能），ajax再訪問第二個頁面。（或者根據(jù)服務(wù)器狀況，你可以同時提交幾個URL，跑幾個相同的頁面）

專注于為中小企業(yè)提供做網(wǎng)站、成都網(wǎng)站制作服務(wù),電腦端+手機端+微信端的三站合一,更高效的管理,為中小企業(yè)興和免費做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都，凝聚了一批互聯(lián)網(wǎng)行業(yè)人才，有力地推動了1000+企業(yè)的穩(wěn)健成長，幫助中小企業(yè)通過網(wǎng)站建設(shè)實現(xiàn)規(guī)模擴充和轉(zhuǎn)變。

參數(shù)可以由js產(chǎn)生并傳遞url，php后臺頁面根據(jù)URL抓頁面。然后ajax通過php，在數(shù)據(jù)庫或者是哪里設(shè)一個標(biāo)量，標(biāo)明檢測到哪里。由于前臺的html頁面執(zhí)行多少時候都沒問題，這樣php的內(nèi)存限制和執(zhí)行時間限制就解決了。

因為不會浪費大量的資源用一個頁面來跑一個瞬間500次的for循環(huán)了。（你的500次for循環(huán)死了原因可能是獲取的數(shù)據(jù)太多，大過了php限制的內(nèi)存）

不過印象中curl好像也有強制同步的選項，就是等待一個抓取后再執(zhí)行下一步。但是這個500次都是用一個頁面線程處理，也就是說肯定會遠遠大于30秒的默認(rèn)執(zhí)行時間。

如何用php采集新浪財經(jīng)

給您提供一下思想，希望能夠幫您解決。fopen("tmp.htm","r"); //只讀打開

$str=str_replace("{title}",$title,$str);

$str=str_replace("{content}",$content,$str);//替換內(nèi)容

fclose($fp);簡單的采集常用函數(shù)。，您也可以用強大的snoopy采集類。彩集新浪財經(jīng)，需要查看/分析源代碼，然后用正則表達式，匹配要采集的代碼然后重新組織數(shù)據(jù)結(jié)構(gòu)。

php怎么防止抓包工具

我是做數(shù)據(jù)采集的，

在我看來，除了輸入驗證碼 ， 沒有什么能對我起到很好的防采集，

一般大的網(wǎng)站都是采用 網(wǎng)頁加入一次性隨機值 ，再有前端JS 生成秘鑰 ，最后一并提交加密了的數(shù)據(jù) ，這種沒什么效果 。對一般的人可以做下防御 。但是，我只要找出它的JS加密函數(shù) 。 使用一個JS服務(wù)器（node.js）,或php的 php 改寫的js加密實現(xiàn)過程 ，加密初始值，再模擬發(fā)送 。所以，這個也沒什么多大作用 。

對于驗證碼 ，一般簡單的都可以程序識別 ，復(fù)雜的提交到前臺讓手動輸入 。再一并發(fā)送。 這種用戶體驗不好。 慎行。

總的來說，建議用JS 加密吧 。

但是，還是防御不了。

我一般用 filefox 的 filebug 或 小提琴工具 。

目前大半年了，沒有破解不了的網(wǎng)站 。

我用我的php程序 ，可以操作你的網(wǎng)站 。實現(xiàn) 用戶操作 我的php程序 ，我的php程序 再去操作源網(wǎng)站 。

你可以去研究下 58同城網(wǎng) 的登錄 。那里面一堆的加密 。 在我看來都是垃圾代碼 。 我的程序一鍵登錄進去。

php 百度 知道數(shù)據(jù)采集

問題其實不難，自己都能寫。給你幾個思路吧：

1.在百度知道中，輸入linux，然后會出現(xiàn)列表。復(fù)制瀏覽器地址欄內(nèi)容。

然后翻頁，在復(fù)制地址欄內(nèi)容，看看有什么不同，不同之處，就是你要循環(huán)分頁的i值。

當(dāng)然這個是笨方法。

2.使用php的file或者file_get_contents函數(shù)，獲取鏈接URL的內(nèi)容。

3.通過php正則表達式，獲取你需要的3個字段內(nèi)容。

4.寫入數(shù)據(jù)庫。

需要注意的是，百度知道有可能做了防抓取的功能，你剛一抓幾個頁面，可能會被禁止。

建議也就抓10頁數(shù)據(jù)。

其實不難，你肯定寫的出來。 還有，網(wǎng)上應(yīng)該有很多抓取工具，你找找看，然后將抓下來的數(shù)據(jù)

在做分析。寫入數(shù)據(jù)庫。

php采集大數(shù)據(jù)的方案

1、建議你讀寫數(shù)據(jù)和下載圖片分開，各用不同的進程完成。

比如說，取數(shù)據(jù)用get-data.php，下載圖片用get-image.php。

2、多進程的話，php可以簡單的用pcntl_fork()。這樣可以并發(fā)多個子進程。

但是我不建議你用fork，我建議你安裝一個gearman worker。這樣你要并發(fā)幾個，就啟幾個worker，寫代碼簡單，根本不用在代碼里考慮thread啊，process等等。

3、綜上，解決方案這樣：

（1）安裝gearman worker。

（2）寫一個get-data.php，在crontab里設(shè)置它每5分鐘執(zhí)行一次，只負(fù)責(zé)讀數(shù)據(jù)，然后把讀回來的數(shù)據(jù)一條一條的扔到 gearman worker的隊列里；

然后再寫一個處理數(shù)據(jù)的腳本作為worker，例如叫process-data.php，這個腳本常駐內(nèi)存。它作為worker從geraman 隊列里讀出一條一條的數(shù)據(jù)，然后跟你的數(shù)據(jù)庫老數(shù)據(jù)比較，進行你的業(yè)務(wù)邏輯。如果你要10個并發(fā)，那就啟動10個process-data.php好了。處理完后，如果圖片地址有變動需要下載圖片，就把圖片地址扔到 gearman worker的另一個隊列里。

（3）再寫一個download-data.php，作為下載圖片的worker，同樣，你啟動10個20個并發(fā)隨便你。這個進程也常駐內(nèi)存運行，從gearman worker的圖片數(shù)據(jù)隊列里取數(shù)據(jù)出來，下載圖片

4、常駐進程的話，就是在代碼里寫個while(true)死循環(huán)，讓它一直運行好了。如果怕內(nèi)存泄露啥的，你可以每循環(huán)10萬次退出一下。然后在crontab里設(shè)置，每分鐘檢查一下進程有沒有啟動，比如說這樣啟動3個process-data worker進程：

* * * * * flock -xn /tmp/process-data.1.lock -c '/usr/bin/php /process-data.php /dev/null 21'

* * * * * flock -xn /tmp/process-data.2.lock -c '/usr/bin/php /process-data.php /dev/null 21'

* * * * * flock -xn /tmp/process-data.3.lock -c '/usr/bin/php /process-data.php /dev/null 21'

不知道你明白了沒有

怎樣用php 采集百度地圖的數(shù)據(jù)

一般來說，PHP采集數(shù)據(jù)最簡單的辦法是使用file_get_content函數(shù)，功能更強大的推薦使用cURL函數(shù)庫。

分享題目：php數(shù)據(jù)采集工具,php數(shù)據(jù)采集工具在哪
URL分享：http://aaarwkj.com/article42/dsspdec.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站內(nèi)鏈、網(wǎng)站制作、定制網(wǎng)站、網(wǎng)站導(dǎo)航、移動網(wǎng)站建設(shè)、電子商務(wù)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)