SparkSQL對于重復(fù)的計(jì)算怎么優(yōu)化
1 回答
慕桂英3389331
TA貢獻(xiàn)2036條經(jīng)驗(yàn) 獲得超8個(gè)贊
Spark sql是為了處理結(jié)構(gòu)化數(shù)據(jù)的一個(gè)spark 模塊。
不同于spark rdd的基本API，spark sql接口更多關(guān)于數(shù)據(jù)結(jié)構(gòu)本身與執(zhí)行計(jì)劃等更多信息。
在spark內(nèi)部，sql sql利用這些信息去更好地進(jìn)行優(yōu)化。
有如下幾種方式執(zhí)行spark sql：SQL，DataFramesAPI與Datasets API。當(dāng)相同的計(jì)算引擎被用來執(zhí)行一個(gè)計(jì)算時(shí)，有不同的API和語言種類可供選擇。
這種統(tǒng)一性意味著開發(fā)人員可以來回輕松切換各種最熟悉的API來完成同一個(gè)計(jì)算工作。
- 1 回答
- 0 關(guān)注
- 833 瀏覽
添加回答
舉報(bào)
0/150
提交
取消