Spark sql是為了處理結構化數(shù)據(jù)的一個spark 模塊。

不同于spark rdd的基本API，spark sql接口更多關于數(shù)據(jù)結構本身與執(zhí)行計劃等更多信息。

在spark內部，sql sql利用這些信息去更好地進行優(yōu)化。

有如下幾種方式執(zhí)行spark sql：SQL，DataFramesAPI與Datasets API。當相同的計算引擎被用來執(zhí)行一個計算時，有不同的API和語言種類可供選擇。

這種統(tǒng)一性意味著開發(fā)人員可以來回輕松切換各種最熟悉的API來完成同一個計算工作。