將jar添加到Spark作業(yè) - spark-submit真的...已經(jīng)討論了很多。然而，有很多歧義和一些答案提供...包括在jar / executor /驅(qū)動(dòng)程序配置或選項(xiàng)中復(fù)制jar引用。模糊和/或省略的細(xì)節(jié)對(duì)于每個(gè)選項(xiàng)，應(yīng)澄清含糊不清，不清楚和/或省略的細(xì)節(jié)：ClassPath如何受到影響司機(jī)執(zhí)行程序（用于運(yùn)行的任務(wù)）都一點(diǎn)也不分隔字符：逗號(hào)，冒號(hào)，分號(hào)如果提供的文件是自動(dòng)分發(fā)的任務(wù)（每個(gè)執(zhí)行者）用于遠(yuǎn)程驅(qū)動(dòng)程序（如果以群集模式運(yùn)行）接受的URI類(lèi)型：本地文件，hdfs，http等如果復(fù)制到公共位置，該位置是（hdfs，local？）它影響的選項(xiàng)：--jarsSparkContext.addJar(...) 方法SparkContext.addFile(...) 方法--conf spark.driver.extraClassPath=... 要么 --driver-class-path ...--conf spark.driver.extraLibraryPath=...， 要么 --driver-library-path ...--conf spark.executor.extraClassPath=...--conf spark.executor.extraLibraryPath=...不要忘記，spark-submit的最后一個(gè)參數(shù)也是一個(gè).jar文件。我知道在哪里可以找到主要的spark文檔，特別是關(guān)于如何提交，可用的選項(xiàng)以及JavaDoc。然而，這對(duì)我來(lái)說(shuō)仍然有一些漏洞，盡管它也有部分回答。我希望它不是那么復(fù)雜，有人可以給我一個(gè)清晰簡(jiǎn)潔的答案。如果我從文檔中猜測(cè)，似乎--jars和SparkContext addJar，addFile方法是自動(dòng)分發(fā)文件的方法，而其他選項(xiàng)只是修改ClassPath。假設(shè)為簡(jiǎn)單起見(jiàn)，我可以安全地使用3個(gè)主要選項(xiàng)同時(shí)添加其他應(yīng)用程序jar文件：spark-submit --jar additional1.jar,additional2.jar \  --driver-library-path additional1.jar:additional2.jar \  --conf spark.executor.extraLibraryPath=additional1.jar:additional2.jar \  --class MyClass main-application.jar找到一篇關(guān)于另一篇文章答案的好文章。然而沒(méi)有什么新學(xué)到的 海報(bào)確實(shí)很好地評(píng)論了本地驅(qū)動(dòng)程序（紗線客戶(hù)端）和遠(yuǎn)程驅(qū)動(dòng)程序（紗線群集）之間的區(qū)別。記住這一點(diǎn)非常重要。