請問Stream類型的數(shù)據(jù)結(jié)構(gòu)在Spark中有什么實(shí)際的應(yīng)用嗎?
Spark經(jīng)常內(nèi)存溢出, 如何用Stream代替呢?
sd1700092
2017-06-27
1 回答
舉報(bào)
0/150
提交
取消
2017-06-27
使用的時(shí)候才會(huì)處理，避免內(nèi)存溢出啊。在Spark處理流式數(shù)據(jù)時(shí)，由于數(shù)據(jù)一直實(shí)在增加的，如果每次都要進(jìn)行運(yùn)算，進(jìn)行處理，內(nèi)存早就溢出了~