初學(xué)Hadoop，有一部分看不懂，文件分塊為64M，分片時也是64M，那么對于小于64M的文件，就只對應(yīng)了一個map是嗎，這樣的話，集群節(jié)點個數(shù)從1個增加到6個，并行處理的還是一個機(jī)子，因此速度并沒有提高是嗎？如果是128M的文件，當(dāng)使用2個節(jié)點的時候速度比1個節(jié)點快，但是三個以上節(jié)點的話，速度再沒有提高是嗎？？不知道我的理解是否正確，希望大家賜教！！
2 回答
慕妹3146593
TA貢獻(xiàn)1820條經(jīng)驗 獲得超9個贊
這就是一種分區(qū)策略，數(shù)據(jù)越分散，單個節(jié)點的壓力等于說越小，熱點數(shù)據(jù)也可以緩解，hadoop的64M可以配置的，樓主可以研究一下
www說
TA貢獻(xiàn)1775條經(jīng)驗 獲得超8個贊
是的.一個分片對應(yīng)一個map,一個map對應(yīng)一個MapTask,map的數(shù)量和分片的數(shù)量相等.
只有一個分片時,其他節(jié)點不參與計算.
到hadoop2.0之后,默認(rèn)的塊大小是128M.
課可以修改塊的大小來增多map.
- 2 回答
- 0 關(guān)注
- 1178 瀏覽
添加回答
舉報
0/150
提交
取消