Spark
Spark用比較少的Scala代碼實(shí)現(xiàn)，跟Hadoop基于分布式文件IO操作方式不同，Spark盡可能利用內(nèi)存去做迭代計(jì)算，并使用mesos管理機(jī)器資源分配。
hadoop

Hadoop 是一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu)，由Apache基金會(huì)開發(fā)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力高速運(yùn)算和存儲(chǔ)。Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)（Hadoop Distributed File System），簡(jiǎn)稱HDFS。HDFS有著高容錯(cuò)性的特點(diǎn)，并且設(shè)計(jì)用來部署在低廉的（low-cost）硬件上。而且它提供高傳輸率（high throughput）來訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（large data set）的應(yīng)用程序。HDFS放寬了（relax）POSIX的要求（requirements）這樣可以流的形式訪問（streaming access）文件系統(tǒng)中的數(shù)據(jù)。
dubbo
Dubbo是一個(gè)阿里巴巴開源出來的一個(gè)分布式服務(wù)框架，致力于提供高性能和透明化的RPC遠(yuǎn)程服務(wù)調(diào)用方案，以及SOA服務(wù)治理方案。其核心部分包含:
遠(yuǎn)程通訊: 提供對(duì)多種基于長(zhǎng)連接的NIO框架抽象封裝，包括多種線程模型，序列化，以及“請(qǐng)求-響應(yīng)”模式的信息交換方式。
集群容錯(cuò): 提供基于接口方法的透明遠(yuǎn)程過程調(diào)用，包括多協(xié)議支持，以及軟負(fù)載均衡，失敗容錯(cuò)，地址路由，動(dòng)態(tài)配置等集群支持。
自動(dòng)發(fā)現(xiàn): 基于注冊(cè)中心目錄服務(wù)，使服務(wù)消費(fèi)方能動(dòng)態(tài)的查找服務(wù)提供方，使地址透明，使服務(wù)提供方可以平滑增加或減少機(jī)器。
Fourinone則是通過多個(gè)包工頭多環(huán)節(jié)鏈?zhǔn)教幚砗桶ゎ^內(nèi)部多階段處理的粗細(xì)粒度方式支持迭代類型計(jì)算，對(duì)于內(nèi)存的使用提供完整的單機(jī)小型緩存和多機(jī)分布式緩存功能（詳見第4章）。因此，通過提供多環(huán)節(jié)計(jì)算支持和分布式緩存功能，也能實(shí)現(xiàn)Spark基于內(nèi)存完成迭代計(jì)算的機(jī)制。