1、Hadoop Common ：Hadoop體系最底層的一個模塊，為Hadoop各子項目提供各種工具，如：配置文件和日志操作等。
2、HDFS：分布式文件系統(tǒng)，提供高吞吐量的應用程序數(shù)據(jù)訪問，對外部客戶機而言，HDFS就像一個傳統(tǒng)的分級文件系統(tǒng)。可以創(chuàng)建、刪除、移動或重命名文件，等等。但是 HDFS的架構是基于一組特定的節(jié)點構建的，這是由它自身的特點決定的。這些節(jié)點包括 NameNode（僅一個），它在 HDFS內部提供元數(shù)據(jù)服務；DataNode，它為 HDFS提供存儲塊。由于僅存在一個 NameNode，因此這是 HDFS的一個缺點（單點失?。?br/>存儲在 HDFS中的文件被分成塊，然后將這些塊復制到多個計算機中（DataNode）。這與傳統(tǒng)的 RAID架構大不相同。塊的大小（通常為 64MB）和復制的塊數(shù)量在創(chuàng)建文件時由客戶機決定。NameNode可以控制所有文件操作。HDFS內部的所有通信都基于標準的 TCP/IP協(xié)議。
3、MapReduce ：一個分布式海量數(shù)據(jù)處理的軟件框架集計算集群。
4、Avro ：doug cutting主持的RPC項目，主要負責數(shù)據(jù)的序列化。有點類似Google的protobuf和Facebook的thrift。avro用來做以后hadoop的RPC，使hadoop的RPC模塊通信速度更快、數(shù)據(jù)結構更緊湊。
5、Hive ：類似CloudBase，也是基于hadoop分布式計算平臺上的提供data warehouse的sql功能的一套軟件。使得存儲在hadoop里面的海量數(shù)據(jù)的匯總，即席查詢簡單化。hive提供了一套QL的查詢語言，以sql為基礎，使用起來很方便。
6、HBase ：基于Hadoop Distributed File System，是一個開源的，基于列存儲模型的可擴展的分布式數(shù)據(jù)庫，支持大型表的存儲結構化數(shù)據(jù)。
7、Pig ：是一個并行計算的高級的數(shù)據(jù)流語言和執(zhí)行框架 ，SQL-like語言，是在MapReduce上構建的一種高級查詢語言，把一些運算編譯進MapReduce模型的Map和Reduce中，并且用戶可以定義自己的功能。
8、ZooKeeper ：Google的Chubby一個開源的實現(xiàn)。它是一個針對大型分布式系統(tǒng)的可靠協(xié)調系統(tǒng)，提供的功能包括：配置維護、名字服務、分布式同步、組服務等。ZooKeeper的目標就是封裝好復雜易出錯的關鍵服務，將簡單易用的接口和性能高效、功能穩(wěn)定的系統(tǒng)提供給用戶。
9、Chukwa ：一個管理大型分布式系統(tǒng)的數(shù)據(jù)采集系統(tǒng)由yahoo貢獻。
10、Cassandra ：無單點故障的可擴展的多主數(shù)據(jù)庫。
11、Mahout ：一個可擴展的機器學習和數(shù)據(jù)挖掘庫。