spark需要配置環(huán)境變量么
老師視頻上說spark安裝后會自動(dòng)配置環(huán)境變量，但是我重新開啟虛擬機(jī)后，spark-shell命令無效，我自己配置了環(huán)境變量才有效，這是為什么？
慕萊塢4069184
2018-12-07
1 回答
舉報(bào)
0/150
提交
取消
2018-12-15
spark如果你的提交作業(yè)的方式是local，是不需要配置任何東西的，視頻里面老師都是在spark-shell下進(jìn)行操作的所以不需要配置任何東西，按照你的說法，spark-shell命令無效是因?yàn)闆]有去到spark的bin目錄下執(zhí)行命令，如果你往/etc/profile或者~/.bash_profile 下進(jìn)行把spark的bin加入到PATH的的話就可以不用去到bin目錄下也可以執(zhí)行spark-shell。如果你的spark作業(yè)是提交在yarn等外部框架上面則需要配置spark-env.sh文件。