我有一個 sparksession，我目前是這樣創(chuàng)建的：spark = SparkSession.builder.master("local").appName("myapp").getOrCreate()我想設置 spark master 的工作目錄。它目前正在使用 /tmp，我想使用其他東西。我注意到有一個 config(..) 選項，我可以做類似的事情嗎：spark = SparkSession.builder.master("local").appName("myapp").config("option", "value").getOrCreate()是否有某處可用的選項列表？應該以不同的方式完成嗎？
2 回答
犯罪嫌疑人X
TA貢獻2080條經(jīng)驗 獲得超4個贊
您可以設置spark.local.dir為自定義文件夾或設置環(huán)境變量SPARK_LOCAL_DIRS。默認情況下，它使用/tmp
更多細節(jié)在這里https://spark.apache.org/docs/2.1.0/configuration.html#application-properties
臨摹微笑
TA貢獻1982條經(jīng)驗 獲得超2個贊
我剛剛發(fā)現(xiàn)我可以設置環(huán)境變量SPARK_LOCAL_DIRS來做到這一點，但如果我能以編程方式做到這一點，我會更喜歡它。
添加回答
舉報
0/150
提交
取消