hadoop 中 map/reduce的原理?
1 回答

慕妹3242003
TA貢獻1824條經(jīng)驗 獲得超6個贊
首先hadoop框架要求程序員將函數(shù)分成兩部分,即map和reduce函數(shù)。
map階段:就是將輸入通過map函數(shù)處理得出中間結(jié)果并通過hadoop框架分配到不同的reduce。
reduce階段:就是將中間結(jié)果通過reduce函數(shù)處理得到最后的結(jié)果。
以wordcount為例,在map階段,map函數(shù)在每個單詞后面加上一個1;在reduce階段,reduce函數(shù)將相同單詞后面的1都加起來。其中hadoop框架實現(xiàn)過程中的排序,分配等,當然這些也可以通過自定義的函數(shù)來控制。
- 1 回答
- 0 關(guān)注
- 695 瀏覽
添加回答
舉報
0/150
提交
取消