課程
/云計算&大數(shù)據(jù)
/大數(shù)據(jù)
/Spark從零開始
這里面在map的時候,為什么不是把hello單詞結果集寫成(hello,2)呢?
2017-07-20
源自:Spark從零開始 4-2
正在回答
這里的 ?map(word=>(word,1)) ?指的是將每一行中的單詞進行統(tǒng)計,
之后reduceByKey{case (x,y)=>x+y}方指將所有行中相同單詞的個數(shù)進行統(tǒng)計
從語法上來說,沒問題。但是從語義上來說,為了計數(shù),每個單詞計數(shù)1次,同一詞的計數(shù)相加得到出現(xiàn)的總次數(shù),這是很自然的。若計數(shù)2次,為了得到總次數(shù),相加后還要除2,這是沒必要的。
Glacia1SugArLon
舉報
本課程旨在讓同學們了解Spark基礎知識,掌握Spark基礎開發(fā).
1 回答2-2按照步驟來不能運行,是不是需要安裝2-1先把spark安裝好?
1 回答為什么最后會生成兩個文件呢?
1 回答什么時候出后續(xù)課程
1 回答請問combineByKey求平均值的時候為什么有c1 c2兩個partition
1 回答啟動的時候報錯,有什么地方還需要配么?
Copyright ? 2025 imooc.com All Rights Reserved | 京ICP備12003892號-11 京公網(wǎng)安備11010802030151號
購課補貼聯(lián)系客服咨詢優(yōu)惠詳情
慕課網(wǎng)APP您的移動學習伙伴
掃描二維碼關注慕課網(wǎng)微信公眾號
2017-12-19
這里的 ?map(word=>(word,1)) ?指的是將每一行中的單詞進行統(tǒng)計,
之后reduceByKey{case (x,y)=>x+y}方指將所有行中相同單詞的個數(shù)進行統(tǒng)計
2017-07-30
從語法上來說,沒問題。但是從語義上來說,為了計數(shù),每個單詞計數(shù)1次,同一詞的計數(shù)相加得到出現(xiàn)的總次數(shù),這是很自然的。若計數(shù)2次,為了得到總次數(shù),相加后還要除2,這是沒必要的。