直接用機(jī)器搭建Hadoop集群是一個(gè)相當(dāng)痛苦的過(guò)程，尤其對(duì)初學(xué)者來(lái)說(shuō)。他們還沒(méi)開(kāi)始跑wordcount，可能就被這個(gè)問(wèn)題折騰的體無(wú)完膚了。而且也不是每個(gè)人都有好幾臺(tái)機(jī)器對(duì)吧。你可以嘗試用多個(gè)虛擬機(jī)搭建，前提是你有個(gè)性能杠杠的機(jī)器。

我的目標(biāo)是將Hadoop集群運(yùn)行在Docker容器中，使Hadoop開(kāi)發(fā)者能夠快速便捷地在本機(jī)搭建多節(jié)點(diǎn)的Hadoop集群。其實(shí)這個(gè)想法已經(jīng)有了不少實(shí)現(xiàn)，但是都不是很理想，他們或者鏡像太大，或者使用太慢，或者使用了第三方工具使得使用起來(lái)過(guò)于復(fù)雜。下表為一些已知的Hadoop on Docker項(xiàng)目以及其存在的問(wèn)題。

項(xiàng)目 鏡像大小 問(wèn)題
sequenceiq/hadoop-docker:latest 1.491GB 鏡像太大，只支持單個(gè)節(jié)點(diǎn)
sequenceiq/hadoop-docker:2.7.0 1.76 GB
sequenceiq/hadoop-docker:2.60 1.624GB

sequenceiq/ambari:latest 1.782GB 鏡像太大，使用太慢，使用復(fù)雜
sequenceiq/ambari:2.0.0 4.804GB
sequenceiq/ambari:latest:1.70 4.761GB

alvinhenrick/hadoop-mutinode 4.331GB 鏡像太大，構(gòu)建太慢，增加節(jié)點(diǎn)麻煩，有bug

我的項(xiàng)目參考了alvinhenrick/hadoop-mutinode項(xiàng)目，不過(guò)我做了大量的優(yōu)化和重構(gòu)。