概括這是一個腳本(CakePHP 2.10.18 - 帶 PHP 5.3 的 LAMP 專用服務(wù)器),它從2 個 MySQL 表加載信息,然后對數(shù)據(jù)進行一些處理以將其輸出到 Excel。表 1 包含用戶,表 2 包含有關(guān)這些用戶的信息(每個用戶一條記錄)。該腳本的目標(biāo)是從表 1 中獲取用戶的記錄,從表 2 中獲取其相關(guān)信息,并將其放入 Excel 行中(為此使用PHPExcel_IOFactory庫)。這些表中提取的信息約為 8000 條記錄,表本身分別有 100K 和 300K 總記錄。這些表中的所有字段都是整數(shù)和小varchar,除了第二個表中的一個字段(datos_progreso如下面的代碼所示),它是一個文本字段,包含序列化數(shù)據(jù),但沒什么大的。問題是,如果我運行完整 16000 條記錄的腳本,我會收到內(nèi)部服務(wù)器錯誤(日志中沒有任何解釋),如果我運行 1000 條記錄的腳本,一切正常,所以這似乎指出它是資源問題。我嘗試過(除其他事項外,我將在最后解釋)將內(nèi)存memory_limit從 128M 增加到 8GB(是的,你沒看錯),max_execution_time從 90 秒增加到 300 秒,max_input_vars從 1000 增加到 10000,但這并不能解決問題。我的想法是,數(shù)據(jù)量并沒有那么大,不會導(dǎo)致資源耗盡,但我嘗試以多種方式優(yōu)化腳本,但無法使其工作。我讓它工作的唯一一次是在一小部分記錄上運行它,就像我上面提到的那樣。我想知道是否可以通過腳本或 php 配置來解決此問題。順便說一句,我無法用信息更改數(shù)據(jù)庫表。我嘗試過的我嘗試過不使用bindModel,而是分別加載兩個表的信息。因此,首先加載用戶的所有信息,循環(huán)遍歷它,并在每個循環(huán)中從表 2 中獲取該特定用戶的信息。我也嘗試過與上面類似的方法,但不是立即加載表 1 中用戶的所有信息,而是首先加載他們的所有 ID,然后循環(huán)這些 ID 以獲取表 1 和表 2 中的信息。我想這樣我會使用更少的內(nèi)存。我也嘗試過不使用 CakePHP's find(),而是使用fetchAll()“手動”查詢,因為經(jīng)過一些研究,它似乎在內(nèi)存方面會更有效(似乎沒有什么區(qū)別)如果我可以提供任何其他信息來幫助更好地了解正在發(fā)生的事情,請告訴我:)編輯:按照評論中的建議,我在 shell 腳本中實現(xiàn)了這一點,并且運行良好(需要一段時間,但完成時沒有問題)。話雖如此,我仍然希望通過網(wǎng)絡(luò)界面來完成這項工作。為了弄清楚發(fā)生了什么,并且由于 error_logs 沒有真正顯示任何相關(guān)內(nèi)容,我決定自己進行一些性能測試。經(jīng)過測試,這些是我的發(fā)現(xiàn):這不是內(nèi)存問題,因為腳本最多使用 300 MB 左右,而我給它的內(nèi)存memory_limit是 8 GB無論是通過網(wǎng)絡(luò)調(diào)用還是 shell 腳本,內(nèi)存使用情況都非常相似這不是超時問題,因為我給腳本設(shè)置了 20 分鐘限制,但在此之前它就崩潰了還有什么其他設(shè)置可以限制此/運行,當(dāng)它是 shell 腳本時不會失敗?
1 回答

慕碼人2483693
TA貢獻(xiàn)1860條經(jīng)驗 獲得超9個贊
我解決這個問題的方法是按照評論中的建議使用shell 腳本。我知道我最初想要的方法不是正確的方法,雖然我無法弄清楚到底是什么導(dǎo)致了錯誤,但很明顯使用 Web 腳本是問題的根源。
- 1 回答
- 0 關(guān)注
- 92 瀏覽
添加回答
舉報
0/150
提交
取消