中間數(shù)據(jù)存儲(chǔ)在map中，數(shù)據(jù)量大能能解決嗎？
比如reduce階段計(jì)算得到了<主播id,主播的時(shí)長(zhǎng)>。然后放在map中。
如果主播id很多，map中放不下，怎么辦？
慕尼黑1234676
2020-03-20
1 回答
舉報(bào)
0/150
提交
取消
2020-03-21
可以有這些方案
1：如果內(nèi)存中存放下，可以考慮增加這個(gè)任務(wù)的內(nèi)存
2：或者可以考慮外部存儲(chǔ)，例如：redis，把這些數(shù)據(jù)存放到redis中，這樣針對(duì)一些需要在內(nèi)存中產(chǎn)生很多中間臨時(shí)結(jié)果的場(chǎng)景也是很適用的