riak 華師大的吧- -
下面來簡單介紹各個組件的作用：
HDFS(Hadoop distribute file system)——Hadoop生態(tài)系統(tǒng)的基礎組件Hadoop分布式文件系統(tǒng)。它是其他一些工具的基礎HDFS的機制是將大量數(shù)據(jù)分布到計算機集群上，數(shù)據(jù)一次寫入，但可以多次讀取用于分析。HDFS讓Hadoop可以最大化利用磁盤。
HBase—— 一個構建在HDFS之上的面向列的NoSql數(shù)據(jù)庫，HBase用于對打量數(shù)據(jù)進行快速讀取/寫入。HBase將Zookeeper用于自身的管理，以保證其所有組件都正在運行。HBase使得Hadoop可以最大化利用內存。
MapReduce——MapReduce是Hadoop的主要執(zhí)行框架，它是一個用于分布式并行數(shù)據(jù)處理的編程模型，將作業(yè)分為mapping階段和reduce階段。開發(fā)人員謂Hadoop編寫MapReduce作業(yè)，并使用HDFS中存儲的數(shù)據(jù)，而HDFS可以保證快速的數(shù)據(jù)訪問。鑒于MapReduce作業(yè)的特性，Hadoop以并行的方式將處理過程移向數(shù)據(jù)。MapReduce使得Hadoop可以最大化利用CPU。
Zookeeper——Zookeeper是Hadoop的分布式協(xié)調服務。Zookeeper被設計成可以在機器集群上運行，是一個具有高度可用性的服務，用于Hadoop操作的管理，而且很多Hadoop組件都依賴它。

Oozie—— Oozie是一個北極測很難過到Hadoop軟件棧中的可擴展的Workflow系統(tǒng)。用于協(xié)調多個MapReduce作業(yè)的執(zhí)行。它能夠處理大量的復雜性，基于外部事件來管理執(zhí)行。

Pig——Pig是對MapReduce編程復雜性的抽象，Pig平臺包含用于分析Hadoop數(shù)據(jù)集的執(zhí)行環(huán)境和腳本語言(Pig Latin)。它的編譯器將Pig Latin翻譯為MapReduce程序序列。
Hive——類似于SQL的高級語言，用于執(zhí)行對存儲在Hadoop中數(shù)據(jù)的查詢，Hive允許不熟悉MapReduce的開發(fā)人員編寫數(shù)據(jù)查詢語句，它會將翻譯為Hadoop中的MapReduce作業(yè)。類似于Pig。Hive是一個抽象層，適合于較熟悉SQL而不是java編程的數(shù)據(jù)庫分析師。
Hadoop生態(tài)系統(tǒng)中還包含一些用于與其他企業(yè)級應用進行集成的框架,例如上圖所示的Sqoop和Flume：
Sqoop是一個連通性工具，用于在關系型數(shù)據(jù)庫和數(shù)據(jù)倉庫Hadoop之間移動數(shù)據(jù)。Sqoop利用數(shù)據(jù)庫來描述導入/導出數(shù)據(jù)的模式，并使用MapReduce實現(xiàn)并行操作和容錯。
Fulme是一個分布式的、具有可靠性和高可用性的服務，用于從單獨的機器上將大量數(shù)據(jù)高效的收集、聚合并移動到HDFS中。它給予一個簡單靈活的架構，童工流式數(shù)據(jù)操所。它借助于簡單可擴展的數(shù)據(jù)模型，允許將來自企業(yè)中多臺機器上的數(shù)據(jù)移到Hadoop中。