首頁猿問初學(xué)Hadoop，請(qǐng)問文件大小小于...

初學(xué)Hadoop，請(qǐng)問文件大小小于64M時(shí)，增加節(jié)點(diǎn)對(duì)處理速度有影響嗎？

Hadoop

夢(mèng)里花落0921 2018-10-13 13:34:16

初學(xué)Hadoop，有一部分看不懂，文件分塊為64M，分片時(shí)也是64M，那么對(duì)于小于64M的文件，就只對(duì)應(yīng)了一個(gè)map是嗎，這樣的話，集群節(jié)點(diǎn)個(gè)數(shù)從1個(gè)增加到6個(gè)，并行處理的還是一個(gè)機(jī)子，因此速度并沒有提高是嗎？如果是128M的文件，當(dāng)使用2個(gè)節(jié)點(diǎn)的時(shí)候速度比1個(gè)節(jié)點(diǎn)快，但是三個(gè)以上節(jié)點(diǎn)的話，速度再?zèng)]有提高是嗎？？不知道我的理解是否正確，希望大家賜教??！

查看完整描述

2 回答

慕妹3146593

TA貢獻(xiàn)1820條經(jīng)驗(yàn) 獲得超9個(gè)贊

這就是一種分區(qū)策略，數(shù)據(jù)越分散，單個(gè)節(jié)點(diǎn)的壓力等于說越小，熱點(diǎn)數(shù)據(jù)也可以緩解，hadoop的64M可以配置的，樓主可以研究一下

反對(duì) 回復(fù) 2018-10-27

www說

TA貢獻(xiàn)1775條經(jīng)驗(yàn) 獲得超8個(gè)贊

是的.一個(gè)分片對(duì)應(yīng)一個(gè)map,一個(gè)map對(duì)應(yīng)一個(gè)MapTask,map的數(shù)量和分片的數(shù)量相等.
只有一個(gè)分片時(shí),其他節(jié)點(diǎn)不參與計(jì)算.
到hadoop2.0之后,默認(rèn)的塊大小是128M.
課可以修改塊的大小來增多map.

反對(duì) 回復(fù) 2018-10-27