Spark的“One stack to rule them all”是什么意思?
1 回答

牧羊人nacy
TA貢獻(xiàn)1862條經(jīng)驗(yàn) 獲得超7個(gè)贊
在Spark出現(xiàn)之前,要在一個(gè)組織內(nèi)同時(shí)完成數(shù)種大數(shù)據(jù)分析任務(wù),就不得不與多套特化系統(tǒng)打交道,一方面引入了不容小覷的運(yùn)維復(fù)雜性,另一方面還免不了要在多個(gè)系統(tǒng)間頻繁進(jìn)行代價(jià)高昂的數(shù)據(jù)轉(zhuǎn)儲(chǔ)(ETL)。AMPLab在介紹以Spark為核心的BDAS時(shí)常說(shuō)的一句話(huà)是:one stack to rule them all,也就是說(shuō)可以在一套軟件棧內(nèi)完成前述各種大數(shù)據(jù)分析任務(wù)。相對(duì)于MapReduce上的批量計(jì)算、迭代型計(jì)算以及基于Hive的SQL查詢(xún),Spark更是可以帶來(lái)一到兩個(gè)數(shù)量級(jí)的效率提升,在傳統(tǒng)MapReduce近乎不可能的交互式即席查詢(xún)也因而得以實(shí)現(xiàn)。
添加回答
舉報(bào)
0/150
提交
取消