flink實時計算性能比spark高多少
flink實時計算性能比spark高多少
HUH函數(shù)
2018-10-29 00:00:30
TA貢獻(xiàn)1806條經(jīng)驗 獲得超5個贊
對于Spark設(shè)計我目前最大的不滿其實是RDD這個層面只是非常接近physical,但并不是
完全physical的(有一部分pipelining的優(yōu)化)。如果重新設(shè)計Spark的話,我會主張
做出一個完全physical的layer。不過這個主要是出于代碼純粹性的考慮,對上層實現(xiàn)
其實沒有多大影響。以后基于DataFrame/SQL,Spark還會有很多優(yōu)化的空間。傳統(tǒng)數(shù)據(jù)
庫的設(shè)計其實很簡單,大多數(shù)在analytics上也比較過時了。數(shù)據(jù)庫領(lǐng)域最近幾年在
analtyical query processing性能優(yōu)化上有很多新穎的想法(比如說Hyper, X100, C-
Store/Vertica,DB2 BLU),我們會選擇性的在Spark上實現(xiàn)。
舉報