我想在最短時(shí)間內(nèi)將 20k xml 文件數(shù)據(jù)獲取到我的數(shù)據(jù)庫(kù)中，當(dāng)前時(shí)間大約需要 60-80 小時(shí)來(lái)處理所有文件，有什么辦法可以在更短的時(shí)間內(nèi)完成嗎？在上面的代碼中，我一一從 xml 文件中獲取詳細(xì)信息，并將詳細(xì)信息發(fā)送到我的數(shù)據(jù)庫(kù)。建議我以最快的方式保存數(shù)據(jù)的更好方法。提前致謝
2 回答
慕碼人2483693
TA貢獻(xiàn)1860條經(jīng)驗(yàn) 獲得超9個(gè)贊
首先是減少執(zhí)行的查詢數(shù)量。- 執(zhí)行 1 個(gè) select 語(yǔ)句來(lái)檢索多個(gè)信息并將其存儲(chǔ)在一個(gè)變量中，而不是執(zhí)行 1000 個(gè)小查詢。但是，這會(huì)增加消耗的內(nèi)存。- 使用批次插入數(shù)據(jù)。而不是 1000 次插入，只執(zhí)行一次。通過(guò)做一些測(cè)試為您的批次找到合適的尺寸。檢查一個(gè)簡(jiǎn)單的插入、一個(gè) 100 行、200 行等的插入需要多少時(shí)間。
喵喔喔
TA貢獻(xiàn)1735條經(jīng)驗(yàn) 獲得超5個(gè)贊
20K 大小的文件說(shuō) 500Kb = 10Gb；本能地，很難理解為什么最多需要一個(gè)多小時(shí)。
不幸的是，我不知道 codeigniter，也無(wú)法理解您的代碼邏輯，但是如果您準(zhǔn)備考慮一種完全不同的方法來(lái)從 XML 加載 SQL 數(shù)據(jù)庫(kù)，請(qǐng)考慮在 Saxon XSLT 處理器中使用 SQL 擴(kuò)展：http://www.saxonica.com/documentation/index.html#!functions/sql
話雖如此，您的結(jié)果與預(yù)期如此不符，以至于幾乎可以肯定有一種方法可以利用您現(xiàn)有的技術(shù)獲得更好的性能，我只是無(wú)法告訴您它是什么。
- 2 回答
- 0 關(guān)注
- 106 瀏覽
添加回答
舉報(bào)
0/150
提交
取消