首頁(yè) 猿問(wèn) 能不能解釋一下hadoop中的ma...

能不能解釋一下hadoop中的mapreduce

Hadoop

蠱毒傳說(shuō) 2018-10-12 18:35:17

現(xiàn)在要完成一項(xiàng)海量數(shù)據(jù)處理的工作。大約有500G的.gz log文件現(xiàn)在要從log中提取一些信息做統(tǒng)計(jì)工作~因?yàn)槲募?，所以打算用hadoop來(lái)做。現(xiàn)在已經(jīng)安裝了hadoop，然后需要自己寫(xiě)mapreduce打算用腳本來(lái)寫(xiě)，比如shell，python?？墒且?yàn)閯側(cè)胧郑詫?duì)mapreduce不是很理解。不知哪位高手能用生動(dòng)的語(yǔ)言解釋一下什么事mapreduce，對(duì)于我這個(gè)問(wèn)題來(lái)說(shuō)，mapreduce有分別起到什么作用呢？

查看完整描述

2 回答

瀟瀟雨雨

TA貢獻(xiàn)1833條經(jīng)驗(yàn) 獲得超4個(gè)贊

比如說(shuō)要查日志中不同單詞出現(xiàn)的次數(shù)，把日志平均（注意這個(gè)評(píng)價(jià)不止是說(shuō)大小，還有概率）分成兩份（map），然后由兩臺(tái)機(jī)器分別去統(tǒng)計(jì)，A機(jī)器查到的結(jié)果是 {"hello": 3, "world": 5}， B機(jī)器查到的結(jié)果是 {"world": 4, "program": 2} 。兩個(gè)一合并（reduce），就得到最終結(jié)果 {"hello": 3， “world": 9, "program": 2}

這樣一個(gè)簡(jiǎn)單的例子你可以看到，一個(gè)map-reduce的過(guò)程，就是將一個(gè)任務(wù)平均劃分（通常用上hash以保證平均）成多個(gè)互不依賴(lài)的子任務(wù)分別處理（map），然后再將子任務(wù)的結(jié)果合并（reduce）的過(guò)程。

并不是所有的任務(wù)都可以用map-reduce模型來(lái)完成的，但是Google通過(guò)對(duì)模型的簡(jiǎn)化，使得這樣一套系統(tǒng)實(shí)際上也能完成相當(dāng)多的實(shí)際任務(wù)。

反對(duì) 回復(fù) 2018-10-27