Spark SQL解決了這兩個問題。
第一，Spark SQL在Hive兼容層面僅依賴HQL parser、Hive Metastore和Hive SerDe。也就是說，從HQL被解析成抽象語法樹（AST）起，就全部由Spark SQL接管了。執(zhí)行計劃生成和優(yōu)化都由Catalyst負責(zé)。借助Scala的模式匹配等函數(shù)式語言特性，利用Catalyst開發(fā)執(zhí)行計劃優(yōu)化策略比Hive要簡潔得多。去年Spark summit上Catalyst的作者Michael Armbrust對Catalyst做了一個簡要介紹：2013 | Spark Summit。
第二，相對于Shark，由于進一步削減了對Hive的依賴，Spark SQL不再需要自行維護打了patch的Hive分支。Shark后續(xù)將全面采用Spark SQL作為引擎，不僅僅是查詢優(yōu)化方面。