中間數(shù)據(jù)存儲在map中，數(shù)據(jù)量大能能解決嗎？
比如reduce階段計算得到了<主播id,主播的時長>。然后放在map中。
如果主播id很多，map中放不下，怎么辦？
慕尼黑1234676
2020-03-20
1 回答
舉報
0/150
提交
取消
2020-03-21
可以有這些方案
1：如果內(nèi)存中存放下，可以考慮增加這個任務(wù)的內(nèi)存
2：或者可以考慮外部存儲，例如：redis，把這些數(shù)據(jù)存放到redis中，這樣針對一些需要在內(nèi)存中產(chǎn)生很多中間臨時結(jié)果的場景也是很適用的