php大數(shù)據(jù)循環(huán)處理 php大數(shù)據(jù)查詢優(yōu)化

PHP 怎么循環(huán)一組數(shù)字（1萬條數(shù)據(jù)）插入數(shù)據(jù)庫？

1W條數(shù)據(jù)量也不是特別大，那就直接讀取，然后在foreach入庫就可以了

創(chuàng)新互聯(lián)是一家專注于網(wǎng)站設(shè)計、網(wǎng)站制作與策劃設(shè)計,仙桃網(wǎng)站建設(shè)哪家好?創(chuàng)新互聯(lián)做網(wǎng)站,專注于網(wǎng)站建設(shè)十多年,網(wǎng)設(shè)計領(lǐng)域的專業(yè)建站公司;建站業(yè)務(wù)涵蓋:仙桃等地區(qū)。仙桃做網(wǎng)站價格咨詢:028-86922220

如果數(shù)據(jù)量非常大的時候，那就分段讀取，然后入庫~

考慮到php超時，那就網(wǎng)頁端打開，第一部分執(zhí)行完，刷新頁面，開始執(zhí)行第二部分，依次進(jìn)行...

當(dāng)然，直接在命令行下執(zhí)行也可以~

求 php 循環(huán)執(zhí)行大量數(shù)據(jù) 解決辦法。

你用網(wǎng)頁的方式，讓人點擊，服務(wù)器采集，簡直是弱爆了。每個人的點擊循環(huán)1000次，來個100人同時點，你要用的是普通的虛擬機(jī)就不行了。

最好是換種方式實現(xiàn)，不要通過網(wǎng)頁進(jìn)行采集。

可以非常簡單的在數(shù)據(jù)庫的表，創(chuàng)建一個采集隊列，后臺執(zhí)行一個crontab的計劃任務(wù)，去完成隊列里的采集任務(wù)。

php數(shù)組如何實現(xiàn)循環(huán)隊列

1.PHP基本上就是一種數(shù)組語言。時常要進(jìn)行大量的數(shù)組循環(huán)操作，主要有兩種方式，

一種是foreach，另一種是while，

代碼如下：

foreach ($array as $value) {

echo $value;

}

while (list($key) = each($array)) {

echo $array[$key];

}

foreach ($array as $value) {

echo $value;

}

while (list($key) = each($array)) {

echo $array[$key];

}

2.在循環(huán)里進(jìn)行的是數(shù)組“寫”操作，則while比foreach快：

foreach ($array as $key = $value) {

echo $array[$key] = $value . '...';

}

while (list($key) = each($array)) {

$array[$key] = $array[$key] . '...';

}

foreach ($array as $key = $value) {

echo $array[$key] = $value . '...';

}

while (list($key) = each($array)) {

$array[$key] = $array[$key] . '...';

}

php采集大數(shù)據(jù)的方案

1、建議你讀寫數(shù)據(jù)和下載圖片分開，各用不同的進(jìn)程完成。

比如說，取數(shù)據(jù)用get-data.php，下載圖片用get-image.php。

2、多進(jìn)程的話，php可以簡單的用pcntl_fork()。這樣可以并發(fā)多個子進(jìn)程。

但是我不建議你用fork，我建議你安裝一個gearman worker。這樣你要并發(fā)幾個，就啟幾個worker，寫代碼簡單，根本不用在代碼里考慮thread啊，process等等。

3、綜上，解決方案這樣：

（1）安裝gearman worker。

（2）寫一個get-data.php，在crontab里設(shè)置它每5分鐘執(zhí)行一次，只負(fù)責(zé)讀數(shù)據(jù)，然后把讀回來的數(shù)據(jù)一條一條的扔到 gearman worker的隊列里；

然后再寫一個處理數(shù)據(jù)的腳本作為worker，例如叫process-data.php，這個腳本常駐內(nèi)存。它作為worker從geraman 隊列里讀出一條一條的數(shù)據(jù)，然后跟你的數(shù)據(jù)庫老數(shù)據(jù)比較，進(jìn)行你的業(yè)務(wù)邏輯。如果你要10個并發(fā)，那就啟動10個process-data.php好了。處理完后，如果圖片地址有變動需要下載圖片，就把圖片地址扔到 gearman worker的另一個隊列里。

（3）再寫一個download-data.php，作為下載圖片的worker，同樣，你啟動10個20個并發(fā)隨便你。這個進(jìn)程也常駐內(nèi)存運(yùn)行，從gearman worker的圖片數(shù)據(jù)隊列里取數(shù)據(jù)出來，下載圖片

4、常駐進(jìn)程的話，就是在代碼里寫個while(true)死循環(huán)，讓它一直運(yùn)行好了。如果怕內(nèi)存泄露啥的，你可以每循環(huán)10萬次退出一下。然后在crontab里設(shè)置，每分鐘檢查一下進(jìn)程有沒有啟動，比如說這樣啟動3個process-data worker進(jìn)程：

* * * * * flock -xn /tmp/process-data.1.lock -c '/usr/bin/php /process-data.php /dev/null 21'

* * * * * flock -xn /tmp/process-data.2.lock -c '/usr/bin/php /process-data.php /dev/null 21'

* * * * * flock -xn /tmp/process-data.3.lock -c '/usr/bin/php /process-data.php /dev/null 21'

不知道你明白了沒有

當(dāng)前標(biāo)題：php大數(shù)據(jù)循環(huán)處理 php大數(shù)據(jù)查詢優(yōu)化
當(dāng)前路徑：http://bm7419.com/article42/ddcdjhc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供品牌網(wǎng)站制作、外貿(mào)建站、搜索引擎優(yōu)化、網(wǎng)站維護(hù)、手機(jī)網(wǎng)站建設(shè)、小程序開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)