首頁(yè) 猿問(wèn) 大數(shù)據(jù)運(yùn)行在內(nèi)存中產(chǎn)生的中間數(shù)據(jù)一...

大數(shù)據(jù)運(yùn)行在內(nèi)存中產(chǎn)生的中間數(shù)據(jù)一般有多大？

瀟湘沐 2018-06-25 14:38:17

在linux系統(tǒng)上，大數(shù)據(jù)運(yùn)行在內(nèi)存中產(chǎn)生的中間數(shù)據(jù)一般有多大？最大會(huì)達(dá)到1個(gè)T嗎？一般最大值控制在什么范圍合適？望各位有經(jīng)驗(yàn)的大佬不吝賜教！

查看完整描述

2 回答

萬(wàn)千封印

TA貢獻(xiàn)1891條經(jīng)驗(yàn) 獲得超3個(gè)贊

運(yùn)行內(nèi)存是可以設(shè)置的，以運(yùn)行一個(gè)spark作業(yè)為例，提交作業(yè)時(shí)可以執(zhí)行本次作業(yè)所需要的總共cpu核心數(shù)和總共的內(nèi)存數(shù)，作業(yè)提交后spark 的 sparkContext 會(huì)向集群申請(qǐng)分配資源，集群會(huì)最大限度的提供資源，當(dāng)然也存在申請(qǐng)90核心，集群只分配了70核心的情況。所以大數(shù)據(jù)運(yùn)算的內(nèi)存控制主要是看你的集群有多少資源，你愿意使用多少資源。

反對(duì) 回復(fù) 2018-07-13

不負(fù)相思意

TA貢獻(xiàn)1777條經(jīng)驗(yàn) 獲得超10個(gè)贊

一般沒(méi)人會(huì)把數(shù)據(jù)一直存放在內(nèi)存吧，比如說(shuō)hbase在實(shí)時(shí)寫(xiě)入數(shù)據(jù)的時(shí)候，會(huì)先寫(xiě)到內(nèi)存中，當(dāng)內(nèi)存中的數(shù)據(jù)達(dá)到一定大小(比如說(shuō)配置為4G)，會(huì)把數(shù)據(jù)刷寫(xiě)到HFile文件并保存到HDFS中。

反對(duì) 回復(fù) 2018-07-13