我終于設(shè)法在我學校的一臺大機器（512G 內(nèi)存）上加入了兩個大 DataFrame。目前我們兩個人在使用同一臺機器，另一個人使用大約120G的內(nèi)存，我調(diào)用垃圾收集器后我們得到了420G。我想將 DataFrame 保存到內(nèi)存中，這樣我就可以輕松地重用它并將其移動到另一臺機器上，我嘗試將其導出到鑲木地板文件，但出現(xiàn)內(nèi)存錯誤...那么，Dataframe當內(nèi)存已接近滿時，我怎樣才能設(shè)法將它轉(zhuǎn)儲到硬盤驅(qū)動器上以重新使用它而不會遇到內(nèi)存錯誤？謝謝
2 回答
SMILET
TA貢獻1796條經(jīng)驗 獲得超4個贊
有幾種選擇。您可以腌制數(shù)據(jù)框，也可以使用 hdf5 格式。這些將占用更少的內(nèi)存。此外，當您下次加載它時，它會比其他格式更快。
添加回答
舉報
0/150
提交
取消