首頁(yè) 猿問(wèn) 數(shù)據(jù)量太大時(shí)，4G內(nèi)存筆記本無(wú)法處理？

數(shù)據(jù)量太大時(shí)，4G內(nèi)存筆記本無(wú)法處理？

大數(shù)據(jù)

zixian 2017-01-02 19:11:15

數(shù)據(jù)量太大，編寫(xiě)的程序處理大量數(shù)據(jù)時(shí)，內(nèi)存不足，無(wú)法運(yùn)行，有什么方法通過(guò)網(wǎng)絡(luò)能夠解決的？

查看完整描述

2 回答

陸云帆

TA貢獻(xiàn)7條經(jīng)驗(yàn) 獲得超0個(gè)贊

這種情況本地就只能想辦法把你的中間結(jié)果序列化了存儲(chǔ)到本地磁盤(pán)，然后接著計(jì)算，最后相當(dāng)于用I/O來(lái)代替你的內(nèi)存。

分布式的大數(shù)據(jù)平臺(tái)也是一樣的原理，如果數(shù)據(jù)量太大，你可以考慮自己弄個(gè)單節(jié)點(diǎn)的Spark來(lái)做，即使內(nèi)存不足了它也會(huì)自動(dòng)幫你去解決中間結(jié)果序列化的問(wèn)題。

反對(duì) 回復(fù) 2017-01-26

JacXuan

TA貢獻(xiàn)12條經(jīng)驗(yàn) 獲得超1個(gè)贊

一般會(huì)想到用算法簡(jiǎn)化程序，或者把程序移植到性能更好的電腦上。

反對(duì) 回復(fù) 2017-01-02

關(guān)注

舉報(bào)

0/150

提交

取消

購(gòu)課補(bǔ)貼
聯(lián)系客服咨詢(xún)優(yōu)惠詳情

慕課網(wǎng)APP
您的移動(dòng)學(xué)習(xí)伙伴

掃描二維碼
關(guān)注慕課網(wǎng)微信公眾號(hào)