首頁(yè) 猿問(wèn) PHP執(zhí)行大規(guī)模任務(wù)時(shí)如果提升效率？

PHP執(zhí)行大規(guī)模任務(wù)時(shí)如果提升效率？

阿波羅的戰(zhàn)車(chē) 2018-06-10 09:39:41

我有一個(gè)php，每天計(jì)劃任務(wù)執(zhí)行一次，邏輯如下：1.連接數(shù)據(jù)庫(kù)，從數(shù)據(jù)庫(kù)中Select讀取相關(guān)數(shù)據(jù)到數(shù)組2.根據(jù)得到的數(shù)據(jù)數(shù)量進(jìn)行循環(huán)，循環(huán)中間包含3個(gè)mysql操作（select、insert、update各一個(gè)）3.循環(huán)完后關(guān)閉數(shù)據(jù)庫(kù)連接循環(huán)執(zhí)行的次數(shù)根據(jù)步驟1的mysql_num_rows而定，基本上幾千上萬(wàn)。那么在循環(huán)過(guò)程中就會(huì)短時(shí)間內(nèi)連續(xù)執(zhí)行幾千上萬(wàn)X3次數(shù)據(jù)庫(kù)操作，效率非常低下。并且因?yàn)檠h(huán)次數(shù)多任務(wù)重需要很長(zhǎng)時(shí)間才能執(zhí)行完，會(huì)導(dǎo)致nginx出現(xiàn)504錯(cuò)誤。且頻繁數(shù)據(jù)庫(kù)操作和長(zhǎng)連接，占用過(guò)多資源，導(dǎo)致整個(gè)環(huán)境效率低下。請(qǐng)問(wèn)該怎么優(yōu)化呢？麻煩各位大神賜教，先謝謝了

查看完整描述

5 回答

千巷貓影

TA貢獻(xiàn)1829條經(jīng)驗(yàn) 獲得超7個(gè)贊

就你說(shuō)的這個(gè)情況，建議不要用請(qǐng)求的方式解決，用 crontab 加計(jì)劃任務(wù)在后臺(tái)運(yùn)行 php 腳本，數(shù)據(jù)庫(kù)查詢(xún)時(shí)分批處理，比如總共 100000 條，每次 1000 條；如果必須逐條處理且速度不是很快，建議一邊 fetch_row 一邊處理，避免先放入 array 再循環(huán)。記得根據(jù)執(zhí)行情況 set_time_limit 和數(shù)據(jù)庫(kù)連接的超時(shí)時(shí)間。

反對(duì) 回復(fù) 2018-07-12

aluckdog

TA貢獻(xiàn)1847條經(jīng)驗(yàn) 獲得超7個(gè)贊

大量數(shù)據(jù)的時(shí)候交由任務(wù)系統(tǒng)去執(zhí)行。首先發(fā)起一個(gè)請(qǐng)求，由消息生產(chǎn)者將請(qǐng)求交給消費(fèi)者處理，并返回，避免等待出現(xiàn)超時(shí)。消費(fèi)者執(zhí)行多線(xiàn)程處理。建議使用Gearman，使用起來(lái)很方便，而且支持PHP接口。其它的類(lèi)似Workman，Swoole等都能實(shí)現(xiàn)。

反對(duì) 回復(fù) 2018-07-12

ITMISS

TA貢獻(xiàn)1871條經(jīng)驗(yàn) 獲得超8個(gè)贊

用cli模式的PHP腳本處理即可，不要使用WEB方式，很容易超時(shí)

反對(duì) 回復(fù) 2018-07-12

一只名叫tom的貓

TA貢獻(xiàn)1906條經(jīng)驗(yàn) 獲得超3個(gè)贊

一次不要取太多的數(shù)據(jù)（減少資源占用）
采用多進(jìn)程的方式，并行執(zhí)行（提高效率）
適當(dāng)?shù)氖褂?sleep

反對(duì) 回復(fù) 2018-07-12

慕田峪9158850

TA貢獻(xiàn)1794條經(jīng)驗(yàn) 獲得超8個(gè)贊

對(duì)性能要求不高，數(shù)據(jù)量也不高（10W內(nèi)都還好），可以直接定時(shí)任務(wù)（cli模式）。
對(duì)性能要求稍高或數(shù)據(jù)量較大，可以用定時(shí)任務(wù)+隊(duì)列（參考數(shù)據(jù)：20W數(shù)據(jù)，每次約5條sql；隊(duì)列78個(gè)進(jìn)程，約20秒處理完）

反對(duì) 回復(fù) 2018-07-12