SparkSQL對于重復(fù)的計算怎么優(yōu)化
1 回答
斯蒂芬大帝
TA貢獻(xiàn)1827條經(jīng)驗 獲得超8個贊
Spark sql是為了處理結(jié)構(gòu)化數(shù)據(jù)的一個spark 模塊。
不同于spark rdd的基本API，spark sql接口更多關(guān)于數(shù)據(jù)結(jié)構(gòu)本身與執(zhí)行計劃等更多信息。
在spark內(nèi)部，sql sql利用這些信息去更好地進(jìn)行優(yōu)化。
有如下幾種方式執(zhí)行spark sql：SQL，DataFramesAPI與Datasets API。當(dāng)相同的計算引擎被用來執(zhí)行一個計算時，有不同的API和語言種類可供選擇。
這種統(tǒng)一性意味著開發(fā)人員可以來回輕松切換各種最熟悉的API來完成同一個計算工作。
- 1 回答
- 0 關(guān)注
- 1055 瀏覽
添加回答
舉報
0/150
提交
取消