新手請教：為什么安裝spark需要源碼編譯
1 回答
富國滬深
TA貢獻(xiàn)1790條經(jīng)驗(yàn) 獲得超9個(gè)贊
因?yàn)椴煌姹镜腍DFS在協(xié)議上是不兼容的，所以如果你想用你的Spark從HDFS上讀取數(shù)據(jù)，那么你就的選擇相應(yīng)版本的HDFS來編譯Spark，這個(gè)可以在編譯的時(shí)候通過設(shè)置hadoop.version來選擇，默認(rèn)情況下，Spark默認(rèn)為編譯成Hadoop 1.0.4版本?，F(xiàn)在可以使用的方法有Maven編譯，sbt編譯（時(shí)間較長）,Spark自帶腳本編譯（實(shí)際還是調(diào)用Maven）。
- 1 回答
- 0 關(guān)注
- 881 瀏覽
添加回答
舉報(bào)
0/150
提交
取消