首頁(yè) 猿問(wèn) hadoop 2.2.0...

hadoop 2.2.0 關(guān)于map和reduce的個(gè)數(shù)的設(shè)置

JavaScript

動(dòng)漫人物 2019-04-16 20:25:45

關(guān)于hadoop中的map過(guò)程，我的理解是每一個(gè)map系統(tǒng)會(huì)開(kāi)啟一個(gè)JVM進(jìn)程來(lái)處理，map之間相互并行，map函數(shù)內(nèi)串行。這樣的想法是否正確？由于想在hadoop集群上算一個(gè)初始輸入數(shù)據(jù)不多，但是計(jì)算很復(fù)雜的程序，希望通過(guò)mapreduce來(lái)達(dá)到并行計(jì)算的目的。可以通過(guò)job.setNumReduceTasks(0);語(yǔ)句設(shè)置reduce個(gè)數(shù)為0,只使用map來(lái)計(jì)算。但是設(shè)置map的個(gè)數(shù)時(shí)遇到了問(wèn)題：新的API中job沒(méi)有類(lèi)似setNumMapTasks()這樣的方法;在運(yùn)行時(shí)加入?yún)?shù)-Dmapreduce.map.tasks=2這樣的參數(shù)也無(wú)效。查過(guò)好多資料，好像是說(shuō)map的個(gè)數(shù)取決于block_size、total_size等參數(shù)。但是都說(shuō)的是1.x版本的設(shè)置，hadoop2.2.0上并沒(méi)有找到mapred.map.tasks、mapred.min.split.size等對(duì)應(yīng)的設(shè)置方法。由于我的輸入文件只有一個(gè)文件，而且不算是“大數(shù)據(jù)”，只是單純想在hadoop上實(shí)現(xiàn)并行，所以我希望能夠設(shè)置一個(gè)最少的map數(shù)目，以便能在各個(gè)計(jì)算節(jié)點(diǎn)上并行。請(qǐng)問(wèn)我應(yīng)該如何設(shè)置？

查看完整描述

2 回答

侃侃無(wú)極

TA貢獻(xiàn)2051條經(jīng)驗(yàn) 獲得超10個(gè)贊

事隔10天后無(wú)人回答，再次自問(wèn)自答（—.—?。Ｗ罱吹揭槐緯?shū)，上面介紹自定義InputFormat來(lái)控制map個(gè)數(shù)以及存儲(chǔ)位置。稍微看了下FileInputFormat的接口，發(fā)現(xiàn)居然有setMaxInputSplitSize()這個(gè)靜態(tài)方法。（自己以前怎么沒(méi)發(fā)現(xiàn)?。∫补肿约簯?，不愿意去找）在run方法中加了這么一句FileInputFormat.setMaxInputSplitSize(job,1048576),再次運(yùn)行貌似有效，程序生成了6個(gè)map來(lái)運(yùn)行。但感到?jīng)]法解釋的有兩點(diǎn)：1.此處設(shè)置的值為1048576(1M)，我的輸入文件有20.95MB，如果最大份片大小為1M的話應(yīng)該有20多個(gè)map。其中必然有更細(xì)致的判斷，還得研究以下相應(yīng)處理的代碼才能解決；2.6個(gè)map全在同一個(gè)節(jié)點(diǎn)上運(yùn)行，沒(méi)有分到不同節(jié)點(diǎn)上；我的環(huán)境為hadoop2.2.0，我曾經(jīng)試過(guò)修改dfs.blocksize等配置參數(shù)，但是似乎都沒(méi)有生效。不知道為什么會(huì)出現(xiàn)配置參數(shù)無(wú)效的情況。補(bǔ)充：剛才了解到最終的分片大小splitSize受到maxsize、minsize以及blocksize的影響。設(shè)置FileInputFormat.setMinInputSplitSize(job,1)后，map數(shù)果然達(dá)到了20。