hadoop 中 map/reduce的原理?
hadoop 中 map/reduce的原理?
翻翻過(guò)去那場(chǎng)雪
2018-11-26 15:11:43
TA貢獻(xiàn)1824條經(jīng)驗(yàn) 獲得超6個(gè)贊
首先hadoop框架要求程序員將函數(shù)分成兩部分,即map和reduce函數(shù)。
map階段:就是將輸入通過(guò)map函數(shù)處理得出中間結(jié)果并通過(guò)hadoop框架分配到不同的reduce。
reduce階段:就是將中間結(jié)果通過(guò)reduce函數(shù)處理得到最后的結(jié)果。
以wordcount為例,在map階段,map函數(shù)在每個(gè)單詞后面加上一個(gè)1;在reduce階段,reduce函數(shù)將相同單詞后面的1都加起來(lái)。其中hadoop框架實(shí)現(xiàn)過(guò)程中的排序,分配等,當(dāng)然這些也可以通過(guò)自定義的函數(shù)來(lái)控制。
舉報(bào)