Spark SQL解決了這兩個(gè)問題。
第一，Spark SQL在Hive兼容層面僅依賴HQL parser、Hive Metastore和Hive SerDe。也就是說，從HQL被解析成抽象語法樹（AST）起，就全部由Spark SQL接管了。執(zhí)行計(jì)劃生成和優(yōu)化都由Catalyst負(fù)責(zé)。借助Scala的模式匹配等函數(shù)式語言特性，利用Catalyst開發(fā)執(zhí)行計(jì)劃優(yōu)化策略比Hive要簡(jiǎn)潔得多。去年Spark summit上Catalyst的作者M(jìn)ichael Armbrust對(duì)Catalyst做了一個(gè)簡(jiǎn)要介紹：2013 | Spark Summit。
第二，相對(duì)于Shark，由于進(jìn)一步削減了對(duì)Hive的依賴，Spark SQL不再需要自行維護(hù)打了patch的Hive分支。Shark后續(xù)將全面采用Spark SQL作為引擎，不僅僅是查詢優(yōu)化方面。