首頁(yè) 猿問(wèn) 設(shè)置地圖任務(wù)數(shù)量和減少任務(wù)

設(shè)置地圖任務(wù)數(shù)量和減少任務(wù)

算法與數(shù)據(jù)結(jié)構(gòu)

紫衣仙女 2019-11-13 15:49:17

我目前正在從事一項(xiàng)工作，我將地圖任務(wù)的數(shù)量固定為20，但數(shù)量有所增加。我也將reduce任務(wù)設(shè)置為零，但是我仍然得到一個(gè)非零的數(shù)字。MapReduce作業(yè)完成的總時(shí)間也不會(huì)顯示。有人可以告訴我我在做什么錯(cuò)。我正在使用此命令hadoop jar Test_Parallel_for.jar Test_Parallel_for Matrix/test4.txt Result 3 \ -D mapred.map.tasks = 20 \ -D mapred.reduce.tasks =0輸出：11/07/30 19:48:56 INFO mapred.JobClient: Job complete: job_201107291018_016411/07/30 19:48:56 INFO mapred.JobClient: Counters: 1811/07/30 19:48:56 INFO mapred.JobClient: Job Counters 11/07/30 19:48:56 INFO mapred.JobClient: Launched reduce tasks=1311/07/30 19:48:56 INFO mapred.JobClient: Rack-local map tasks=1211/07/30 19:48:56 INFO mapred.JobClient: Launched map tasks=2411/07/30 19:48:56 INFO mapred.JobClient: Data-local map tasks=1211/07/30 19:48:56 INFO mapred.JobClient: FileSystemCounters11/07/30 19:48:56 INFO mapred.JobClient: FILE_BYTES_READ=402079263611/07/30 19:48:56 INFO mapred.JobClient: HDFS_BYTES_READ=155653468011/07/30 19:48:56 INFO mapred.JobClient: FILE_BYTES_WRITTEN=602669905811/07/30 19:48:56 INFO mapred.JobClient: HDFS_BYTES_WRITTEN=192889394211/07/30 19:48:56 INFO mapred.JobClient: Map-Reduce Framework11/07/30 19:48:56 INFO mapred.JobClient: Reduce input groups=4000000011/07/30 19:48:56 INFO mapred.JobClient: Combine output records=011/07/30 19:48:56 INFO mapred.JobClient: Map input records=4000000011/07/30 19:48:56 INFO mapred.JobClient: Reduce shuffle bytes=197416226911/07/30 19:48:56 INFO mapred.JobClient: Reduce output records=4000000011/07/30 19:48:56 INFO mapred.JobClient: Spilled Records=12000000011/07/30 19:48:56 INFO mapred.JobClient: Map output bytes=192889394211/07/30 19:48:56 INFO mapred.JobClient: Combine input records=011/07/30 19:48:56 INFO mapred.JobClient: Map output records=4000000011/07/30 19:48:56 INFO mapred.JobClient: Reduce input records=40000000[hcrc1425n30]s0907855:

查看完整描述

3 回答

收到一只叮咚

TA貢獻(xiàn)1821條經(jīng)驗(yàn) 獲得超5個(gè)贊

舉例說(shuō)明：

假設(shè)您的hadoop輸入文件大小為2 GB，并且將塊大小設(shè)置為64 MB，因此將設(shè)置運(yùn)行32個(gè)Mappers任務(wù)，而每個(gè)映射器將處理64 MB塊以完成Hadoop作業(yè)的Mapper作業(yè)。

==>設(shè)置要運(yùn)行的映射器的數(shù)量完全取決于1）文件大小和2）塊大小

假設(shè)您在4個(gè)集群大小上運(yùn)行hadoop：假設(shè)您將conf文件中的mapred.map.tasks和mapred.reduce.tasks參數(shù)設(shè)置為節(jié)點(diǎn)，如下所示：

Node 1: mapred.map.tasks = 4 and mapred.reduce.tasks = 4

Node 2: mapred.map.tasks = 2 and mapred.reduce.tasks = 2

Node 3: mapred.map.tasks = 4 and mapred.reduce.tasks = 4

Node 4: mapred.map.tasks = 1 and mapred.reduce.tasks = 1

假設(shè)您為該集群中的4個(gè)節(jié)點(diǎn)設(shè)置了上述參數(shù)。如果您注意到節(jié)點(diǎn)2分別只設(shè)置了2和2，因?yàn)楣?jié)點(diǎn)2的處理資源可能較少，例如（2個(gè)處理器，2個(gè)內(nèi)核），而節(jié)點(diǎn)4甚至分別設(shè)置為分別低到1和1，可能是由于處理資源該節(jié)點(diǎn)上有1個(gè)處理器，2個(gè)內(nèi)核，因此不能運(yùn)行超過(guò)1個(gè)mapper和1個(gè)reducer任務(wù)。

因此，當(dāng)您運(yùn)行作業(yè)時(shí)，將節(jié)點(diǎn)1，節(jié)點(diǎn)2，節(jié)點(diǎn)3，節(jié)點(diǎn)4配置為運(yùn)行最大作業(yè)。在作業(yè)需要完成的42個(gè)映射器任務(wù)中，總共（4 + 2 + 4 + 1）11個(gè)映射器任務(wù)同時(shí)進(jìn)行。每個(gè)節(jié)點(diǎn)完成其映射任務(wù)后，它將處理42個(gè)映射器任務(wù)中剩余的其余映射器任務(wù)。

現(xiàn)在開(kāi)始使用reducers，因?yàn)閷apred.reduce.tasks設(shè)置為0，所以我們僅將mapper輸出輸出到42個(gè)文件中（每個(gè)mapper任務(wù)1個(gè)文件），而沒(méi)有reducer輸出。

反對(duì) 回復(fù) 2019-11-13