現(xiàn)在要完成一項海量數(shù)據(jù)處理的工作。大約有500G的.gzlog文件現(xiàn)在要從log中提取一些信息做統(tǒng)計工作~因為文件太大,所以打算用hadoop來做?,F(xiàn)在已經(jīng)安裝了hadoop,然后需要自己寫mapreduce打算用腳本來寫,比如shell,python。可是因為剛?cè)胧?,所以對mapreduce不是很理解。不知哪位高手能用生動的語言解釋一下什么事mapreduce,對于我這個問題來說,mapreduce有分別起到什么作用呢?
能不能解釋一下hadoop中的mapreduce
紫衣仙女
2019-04-23 15:35:36