hue怎么直接操作spark sql
hue怎么直接操作spark sql
慕標(biāo)琳琳
2018-12-31 08:00:12
TA貢獻(xiàn)1777條經(jīng)驗(yàn) 獲得超3個(gè)贊
Hue在提交并執(zhí)行作業(yè)的時(shí)候使用的是Oozie和Livy服務(wù)器,將Hue做為一個(gè)client進(jìn)行開發(fā),將封裝好的數(shù)據(jù)通過RestApi發(fā)送給兩種服務(wù)器進(jìn)行作業(yè)的提交,執(zhí)行和管理。
但是相較于Oozie,Livy并不包含DAG圖,所以在執(zhí)行Spark作業(yè)的時(shí)候多節(jié)點(diǎn)直接可能無法產(chǎn)生依賴,無法保證執(zhí)行的次序。目前調(diào)研看來,Spark作業(yè)最好為單節(jié)點(diǎn),或者無依賴的鏈表形式執(zhí)行。
舉報(bào)