直接用機器搭建Hadoop集群是一個相當(dāng)痛苦的過程，尤其對初學(xué)者來說。他們還沒開始跑wordcount，可能就被這個問題折騰的體無完膚了。而且也不是每個人都有好幾臺機器對吧。你可以嘗試用多個虛擬機搭建，前提是你有個性能杠杠的機器。

我的目標(biāo)是將Hadoop集群運行在Docker容器中，使Hadoop開發(fā)者能夠快速便捷地在本機搭建多節(jié)點的Hadoop集群。其實這個想法已經(jīng)有了不少實現(xiàn)，但是都不是很理想，他們或者鏡像太大，或者使用太慢，或者使用了第三方工具使得使用起來過于復(fù)雜。下表為一些已知的Hadoop on Docker項目以及其存在的問題。

項目 鏡像大小 問題
sequenceiq/hadoop-docker:latest 1.491GB 鏡像太大，只支持單個節(jié)點
sequenceiq/hadoop-docker:2.7.0 1.76 GB
sequenceiq/hadoop-docker:2.60 1.624GB

sequenceiq/ambari:latest 1.782GB 鏡像太大，使用太慢，使用復(fù)雜
sequenceiq/ambari:2.0.0 4.804GB
sequenceiq/ambari:latest:1.70 4.761GB

alvinhenrick/hadoop-mutinode 4.331GB 鏡像太大，構(gòu)建太慢，增加節(jié)點麻煩，有bug

我的項目參考了alvinhenrick/hadoop-mutinode項目，不過我做了大量的優(yōu)化和重構(gòu)。