hadoop中什么是緩存區(qū)溢寫文件
張婧儀
2018-04-23 17:38:27
1 回答
是王小二呀
TA貢獻(xiàn)88條經(jīng)驗 獲得超19個贊
hadoop 3.0這套機(jī)制還不了解，2.x版本里面這一步是mapreduce必須的過程，這也是使得mr程序效率較低的一個原因之一，mr計算的中間結(jié)果會按照8:2(default)的比例決定寫緩存還是寫磁盤，這個spill過程使用的緩存有100M，作為對比，spark是可配置的
- 1 回答
- 0 關(guān)注
- 1528 瀏覽
添加回答
舉報
0/150
提交
取消