hue怎么直接操作spark sql
1 回答

江戶川亂折騰
TA貢獻1851條經(jīng)驗 獲得超5個贊
Hue在提交并執(zhí)行作業(yè)的時候使用的是Oozie和Livy服務(wù)器,將Hue做為一個client進行開發(fā),將封裝好的數(shù)據(jù)通過RestApi發(fā)送給兩種服務(wù)器進行作業(yè)的提交,執(zhí)行和管理。
但是相較于Oozie,Livy并不包含DAG圖,所以在執(zhí)行Spark作業(yè)的時候多節(jié)點直接可能無法產(chǎn)生依賴,無法保證執(zhí)行的次序。目前調(diào)研看來,Spark作業(yè)最好為單節(jié)點,或者無依賴的鏈表形式執(zhí)行。
- 1 回答
- 0 關(guān)注
- 941 瀏覽
添加回答
舉報
0/150
提交
取消