新手請教：為什么安裝spark需要源碼編譯
1 回答
富國滬深
TA貢獻1790條經(jīng)驗 獲得超9個贊
因為不同版本的HDFS在協(xié)議上是不兼容的，所以如果你想用你的Spark從HDFS上讀取數(shù)據(jù)，那么你就的選擇相應(yīng)版本的HDFS來編譯Spark，這個可以在編譯的時候通過設(shè)置hadoop.version來選擇，默認(rèn)情況下，Spark默認(rèn)為編譯成Hadoop 1.0.4版本?，F(xiàn)在可以使用的方法有Maven編譯，sbt編譯（時間較長）,Spark自帶腳本編譯（實際還是調(diào)用Maven）。
- 1 回答
- 0 關(guān)注
- 888 瀏覽
添加回答
舉報
0/150
提交
取消