flink和spark都是apache 軟件基金會(huì)（ASF）旗下頂級(jí)項(xiàng)目，都是通用數(shù)據(jù)處理平臺(tái)。它們可以應(yīng)用在很多的大數(shù)據(jù)應(yīng)用和處理環(huán)境。兩者均可在不依賴于其他環(huán)境的情況下運(yùn)行于standalone模式，或是運(yùn)行在基于hadoop（YARN,HDFS)之上，由于它們均是運(yùn)行于內(nèi)存，所以他們表現(xiàn)的都比hadoop要好很多。

flink和spark的比較

數(shù)據(jù)處理

flink在批處理模式下處理數(shù)據(jù)，而Fink實(shí)時(shí)處理流數(shù)據(jù)。火花處理數(shù)據(jù)塊，稱為RDDS，而FLink可以實(shí)時(shí)處理行數(shù)據(jù)之后的行。因此，雖然最小的數(shù)據(jù)延遲總是在spark上存在，但spark卻不是這樣。

迭代

spark支持批處理中的數(shù)據(jù)迭代，但弗林克可以通過(guò)使用流式架構(gòu)來(lái)對(duì)其數(shù)據(jù)進(jìn)行迭代迭代。下面的圖像顯示了迭代處理是如何發(fā)生的。

內(nèi)存管理

FLink可以自動(dòng)適應(yīng)不同的數(shù)據(jù)集，但spark需要手動(dòng)優(yōu)化和調(diào)整其作業(yè)到單個(gè)數(shù)據(jù)集。spark也進(jìn)行手動(dòng)分區(qū)和緩存。因此，期待一些延遲處理。

數(shù)據(jù)流

FLink在需要時(shí)能夠在數(shù)據(jù)處理上提供中間結(jié)果。spark遵循過(guò)程編程系統(tǒng)，F(xiàn)Link遵循分布式數(shù)據(jù)流方法。因此，每當(dāng)需要中間結(jié)果時(shí)，廣播變量被用來(lái)將預(yù)先計(jì)算的結(jié)果分發(fā)給所有的工作者節(jié)點(diǎn)。

1、Spark在SQL上的優(yōu)化，尤其是DataFrame到DataSet其實(shí)是借鑒的Flink的。Flink最初一開始對(duì)SQL支持得就更好。
2、Spark的cache in memory在Flink中是由框架自己判斷的，而不是用戶來(lái)指定的，因?yàn)镕link對(duì)數(shù)據(jù)的處理不像Spark以RDD為單位，就是一種細(xì)粒度的處理，對(duì)內(nèi)存的規(guī)劃更好。
3、Flink原來(lái)用Java寫確實(shí)很難看，現(xiàn)在也在向Spark靠攏，Scala的支持也越來(lái)越好。不管怎么說(shuō)，二者目前都是在相互吸收。