概括這是一個(gè)腳本(CakePHP 2.10.18 - 帶 PHP 5.3 的 LAMP 專用服務(wù)器),它從2 個(gè) MySQL 表加載信息,然后對(duì)數(shù)據(jù)進(jìn)行一些處理以將其輸出到 Excel。表 1 包含用戶,表 2 包含有關(guān)這些用戶的信息(每個(gè)用戶一條記錄)。該腳本的目標(biāo)是從表 1 中獲取用戶的記錄,從表 2 中獲取其相關(guān)信息,并將其放入 Excel 行中(為此使用PHPExcel_IOFactory庫(kù))。這些表中提取的信息約為 8000 條記錄,表本身分別有 100K 和 300K 總記錄。這些表中的所有字段都是整數(shù)和小varchar,除了第二個(gè)表中的一個(gè)字段(datos_progreso如下面的代碼所示),它是一個(gè)文本字段,包含序列化數(shù)據(jù),但沒(méi)什么大的。問(wèn)題是,如果我運(yùn)行完整 16000 條記錄的腳本,我會(huì)收到內(nèi)部服務(wù)器錯(cuò)誤(日志中沒(méi)有任何解釋),如果我運(yùn)行 1000 條記錄的腳本,一切正常,所以這似乎指出它是資源問(wèn)題。我嘗試過(guò)(除其他事項(xiàng)外,我將在最后解釋)將內(nèi)存memory_limit從 128M 增加到 8GB(是的,你沒(méi)看錯(cuò)),max_execution_time從 90 秒增加到 300 秒,max_input_vars從 1000 增加到 10000,但這并不能解決問(wèn)題。我的想法是,數(shù)據(jù)量并沒(méi)有那么大,不會(huì)導(dǎo)致資源耗盡,但我嘗試以多種方式優(yōu)化腳本,但無(wú)法使其工作。我讓它工作的唯一一次是在一小部分記錄上運(yùn)行它,就像我上面提到的那樣。我想知道是否可以通過(guò)腳本或 php 配置來(lái)解決此問(wèn)題。順便說(shuō)一句,我無(wú)法用信息更改數(shù)據(jù)庫(kù)表。我嘗試過(guò)的我嘗試過(guò)不使用bindModel,而是分別加載兩個(gè)表的信息。因此,首先加載用戶的所有信息,循環(huán)遍歷它,并在每個(gè)循環(huán)中從表 2 中獲取該特定用戶的信息。我也嘗試過(guò)與上面類似的方法,但不是立即加載表 1 中用戶的所有信息,而是首先加載他們的所有 ID,然后循環(huán)這些 ID 以獲取表 1 和表 2 中的信息。我想這樣我會(huì)使用更少的內(nèi)存。我也嘗試過(guò)不使用 CakePHP's find(),而是使用fetchAll()“手動(dòng)”查詢,因?yàn)榻?jīng)過(guò)一些研究,它似乎在內(nèi)存方面會(huì)更有效(似乎沒(méi)有什么區(qū)別)如果我可以提供任何其他信息來(lái)幫助更好地了解正在發(fā)生的事情,請(qǐng)告訴我:)編輯:按照評(píng)論中的建議,我在 shell 腳本中實(shí)現(xiàn)了這一點(diǎn),并且運(yùn)行良好(需要一段時(shí)間,但完成時(shí)沒(méi)有問(wèn)題)。話雖如此,我仍然希望通過(guò)網(wǎng)絡(luò)界面來(lái)完成這項(xiàng)工作。為了弄清楚發(fā)生了什么,并且由于 error_logs 沒(méi)有真正顯示任何相關(guān)內(nèi)容,我決定自己進(jìn)行一些性能測(cè)試。經(jīng)過(guò)測(cè)試,這些是我的發(fā)現(xiàn):這不是內(nèi)存問(wèn)題,因?yàn)槟_本最多使用 300 MB 左右,而我給它的內(nèi)存memory_limit是 8 GB無(wú)論是通過(guò)網(wǎng)絡(luò)調(diào)用還是 shell 腳本,內(nèi)存使用情況都非常相似這不是超時(shí)問(wèn)題,因?yàn)槲医o腳本設(shè)置了 20 分鐘限制,但在此之前它就崩潰了還有什么其他設(shè)置可以限制此/運(yùn)行,當(dāng)它是 shell 腳本時(shí)不會(huì)失敗?
1 回答

慕碼人2483693
TA貢獻(xiàn)1860條經(jīng)驗(yàn) 獲得超9個(gè)贊
我解決這個(gè)問(wèn)題的方法是按照評(píng)論中的建議使用shell 腳本。我知道我最初想要的方法不是正確的方法,雖然我無(wú)法弄清楚到底是什么導(dǎo)致了錯(cuò)誤,但很明顯使用 Web 腳本是問(wèn)題的根源。
- 1 回答
- 0 關(guān)注
- 104 瀏覽
添加回答
舉報(bào)
0/150
提交
取消