解決問題的層面不一樣
首先，Hadoop和Apache Spark兩者都是大數(shù)據(jù)框架，但是各自存在的目的不盡相同。Hadoop實質(zhì)上更多是一個分布式數(shù)據(jù)基礎(chǔ)設(shè)施: 它將巨大的數(shù)據(jù)集分派到一個由普通計算機組成的集群中的多個節(jié)點進行存儲，意味著您不需要購買和維護昂貴的服務(wù)器硬件。
同時，Hadoop還會索引和跟蹤這些數(shù)據(jù)，讓大數(shù)據(jù)處理和分析效率達到前所未有的高度。Spark，則是那么一個專門用來對那些分布式存儲的大數(shù)據(jù)進行處理的工具，它并不會進行分布式數(shù)據(jù)的存儲。
兩者可合可分
Hadoop除了提供為大家所共識的HDFS分布式數(shù)據(jù)存儲功能之外，還提供了叫做MapReduce的數(shù)據(jù)處理功能。所以這里我們完全可以拋開Spark，使用Hadoop自身的MapReduce來完成數(shù)據(jù)的處理。
相反，Spark也不是非要依附在Hadoop身上才能生存。但如上所述，畢竟它沒有提供文件管理系統(tǒng)，所以，它必須和其他的分布式文件系統(tǒng)進行集成才能運作。這里我們可以選擇Hadoop的HDFS,也可以選擇其他的基于云的數(shù)據(jù)系統(tǒng)平臺。但Spark默認來說還是被用在Hadoop上面的，畢竟，大家都認為它們的結(jié)合是最好的。