我正在嘗試在 EMR 集群上使用 Oozie 運(yùn)行一個(gè)簡(jiǎn)單的 Java Spark 作業(yè)。該作業(yè)僅從輸入路徑獲取文件，對(duì)其執(zhí)行很少的基本操作并將結(jié)果放在不同的輸出路徑中。當(dāng)我嘗試使用 spark-submit 從命令行運(yùn)行它時(shí)，如下所示，它工作正常：spark-submit --class com.someClassName --master yarn --deploy-mode cluster /home/hadoop/some-local-path/my-jar-file.jar yarn s3n://input-path s3n://output-path然后我在 Oozie 工作流程中設(shè)置了相同的東西。但是，當(dāng)從那里運(yùn)行時(shí)，作業(yè)總是失敗。標(biāo)準(zhǔn)輸出日志包含這一行：Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.SparkMain], main() threw exception, Attempt to add (hdfs://[emr-cluster]:8020/user/oozie/workflows/[WF-Name]/lib/[my-jar-file].jar) multiple times to the distributed cache.java.lang.IllegalArgumentException: Attempt to add (hdfs://[emr-cluster]:8020/user/oozie/workflows/[WF-Name]/lib/[my-jar-file].jar) multiple times to the distributed cache.我在 StackOverflow 上找到了一個(gè)知識(shí)庫(kù)注釋和另一個(gè)問題，它處理了類似的錯(cuò)誤。但對(duì)他們來說，由于內(nèi)部 JAR 文件（而不是用戶傳遞運(yùn)行的文件）而導(dǎo)致作業(yè)失敗。盡管如此，我還是嘗試了它的解決步驟來刪除 share-lib 中 spark 和 oozie 之間常見的 jar 文件，并最終從“ /user/oozie/share/lib/lib_*/spark ”中刪除了一些文件。不幸的是，這也沒有解決問題。關(guān)于如何調(diào)試此問題的任何想法？
1 回答
蝴蝶不菲
TA貢獻(xiàn)1810條經(jīng)驗(yàn) 獲得超4個(gè)贊
所以我們終于弄清楚了這個(gè)問題——至少在我們的例子中是這樣。
使用 Hue 創(chuàng)建工作流時(shí)，添加 Spark 操作時(shí)，默認(rèn)情況下會(huì)提示輸入“文件”和“Jar/py 名稱”。我們分別在這些字段中提供了我們想要運(yùn)行的 JAR 文件的路徑和該 JAR 文件的名稱，它創(chuàng)建了如下所示的基本操作：
它創(chuàng)建的最終 XML 如下所示：
<action name="spark-210e">
<spark xmlns="uri:oozie:spark-action:0.2">
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
<master>yarn</master>
<mode>cluster</mode>
<name>CleanseData</name>
<class>com.data.CleanseData</class>
<jar>JCleanseData.jar</jar>
<spark-opts>--driver-memory 2G --executor-memory 2G --num-executors 10 --files hive-site.xml</spark-opts>
<arg>yarn</arg>
<arg>[someArg1]</arg>
<arg>[someArg2]</arg>
<file>lib/JCleanseData.jar#JCleanseData.jar</file>
</spark>
<ok to="[nextAction]"/>
<error to="Kill"/>
</action>
在我們的案例中，其中的默認(rèn)file標(biāo)簽導(dǎo)致了問題。
因此，我們刪除了它并將定義編輯為如下所示并且有效。還要注意對(duì)<jar>標(biāo)簽的更改。
<action name="spark-210e">
<spark xmlns="uri:oozie:spark-action:0.2">
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
<master>yarn</master>
<mode>cluster</mode>
<name>CleanseData</name>
<class>com.data.CleanseData</class>
<jar>hdfs://path/to/JCleanseData.jar</jar>
<spark-opts>--driver-memory 2G --executor-memory 2G --num-executors 10 --files hive-site.xml</spark-opts>
<arg>yarn</arg>
<arg>[someArg1]</arg>
<arg>[someArg1]</arg>
</spark>
<ok to="[nextAction]"/>
<error to="Kill"/>
</action>
PS：我們對(duì) Hive 操作也有類似的問題。hive-site.xml我們應(yīng)該通過 Hive 操作傳遞的文件——它創(chuàng)建了一個(gè)<job-xml>標(biāo)簽——也導(dǎo)致了問題。所以我們刪除了它，它按預(yù)期工作。
添加回答
舉報(bào)
0/150
提交
取消