最新回答 / adime
辦法一:在spark的conf目錄下,在spark-env.sh文件中加入LD_LIBRARY_PATH環(huán)境變量LD_LIBRARY_PATH=$HADOOP_HOME/lib/native辦法二:在 ~/.bashrc 設(shè)置一下 export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native試試看有沒有用
2019-01-14
最新回答 / 寶慕林1045435
spark如果你的提交作業(yè)的方式是local,是不需要配置任何東西的,視頻里面老師都是在spark-shell下進(jìn)行操作的所以不需要配置任何東西,按照你的說法,spark-shell命令無效是因?yàn)闆]有去到spark的bin目錄下執(zhí)行命令,如果你往/etc/profile或者~/.bash_profile 下進(jìn)行把spark的bin加入到PATH的的話就可以不用去到bin目錄下也可以執(zhí)行spark-shell。如果你的spark作業(yè)是提交在yarn等外部框架上面則需要配置spark-env.sh文件。
2018-12-07
Windows環(huán)境下的安裝部署步驟 https://moon-rui.github.io/2018/11/26/spark_on_windows.html
2018-11-26