我正在嘗試將以下DataFrame寫入HDFS上的CSV文件df.write() .format("com.databricks.spark.csv") .option("header", "true") .save("/user/cloudera/csv");但我收到以下錯誤Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/commons/csv/CSVFormat...Caused by: java.lang.ClassNotFoundException: org.apache.commons.csv.CSVFormat... 21 more我的pom.xml具有以下依賴關系<dependency> <groupId>com.databricks</groupId> <artifactId>spark-csv_2.10</artifactId> <version>1.5.0</version></dependency><dependency> <groupId>org.apache.commons</groupId> <artifactId>commons-csv</artifactId> <version>1.5</version></dependency><dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.10</artifactId> <version>1.6.0</version></dependency>我將scala 1.0.5與scala 2.10.5結(jié)合使用，并使用以下命令提交作業(yè)spark-submit --jars /path/spark-csv_2.10-1.5.0.jar --class com.iris.Begin /path/CsvSolver.jar我在.m2存儲庫中也有commons-csv / 1.1和commons-csv / 1.5。有人可以幫我嗎？
3 回答
GCT1015
TA貢獻1827條經(jīng)驗 獲得超4個贊
最好構(gòu)建將包含所有依賴項的胖jar（spark-core應標記為provided），并僅提交此jar，而不帶任何其他--jars選項。
在Maven中，您可以通過使用具有預定義配置文件jar-with-dependencies的Maven Assembly插件來生成胖子jar 。就像是：
<build>
<plugins>
<plugin>
<artifactId>maven-assembly-plugin</artifactId>
<version>3.1.0</version>
<executions>
<execution>
<phase>package</phase>
<goals>
<goal>single</goal>
</goals>
</execution>
</executions>
<configuration>
<descriptorRefs>
<descriptorRef>jar-with-dependencies</descriptorRef>
</descriptorRefs>
</configuration>
</plugin>
</plugins>
</build>
添加回答
舉報
0/150
提交
取消