我正在嘗試基于 spark 數(shù)據(jù)集在 Redshift 中創(chuàng)建一個(gè)表。我在 jdbc 中使用 spark-redshift 驅(qū)動(dòng)程序在本地實(shí)現(xiàn)這一點(diǎn)。執(zhí)行此操作的代碼片段data.write().format("com.databricks.spark.redshift").option("url", "jdbc:redshift://..").option("dbtable", "test_table").option("tempdir", "s3://temp").option("aws_iam_role", "arn:aws:iam::..").option("extracopyoptions", "region 'us-west-1'").mode(SaveMode.Append).save();我的 maven pom.xml 具有以下依賴項(xiàng)：<dependency> <groupId>com.databricks</groupId> <artifactId>spark-redshift_2.11</artifactId> <version>2.0.1</version></dependency>
2 回答
MM們
TA貢獻(xiàn)1886條經(jīng)驗(yàn) 獲得超2個(gè)贊
由于您試圖在本地系統(tǒng)上執(zhí)行此代碼，因此您的代碼將不知道如何訪問(wèn) s3 文件系統(tǒng)。
您可以執(zhí)行以下兩項(xiàng)操作之一來(lái)解決此問(wèn)題：
在您的系統(tǒng)中配置 AWS 憑證，以便您的代碼以某種方式嘗試訪問(wèn) s3 存儲(chǔ)桶。由于各種原因，我不會(huì)推薦這種方法。
將文件路徑保存在配置文件中。使用 2 個(gè)配置文件 - 一個(gè)用于測(cè)試代碼，另一個(gè)用于生產(chǎn)環(huán)境。在測(cè)試環(huán)境中，使用 c:\path\to\your\dummy\folder\ 等路徑，在生產(chǎn)環(huán)境配置文件中使用 s3:\your_bucket_name\path\in\bucket 等路徑。
希望能幫助到你。
一只斗牛犬
TA貢獻(xiàn)1784條經(jīng)驗(yàn) 獲得超2個(gè)贊
我想您忘記將hadoop-aws包包含到您的項(xiàng)目中。這個(gè)包將允許您使用s3://模式
<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-aws -->
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-aws</artifactId>
<version>2.6.0</version>
</dependency>
添加回答
舉報(bào)
0/150
提交
取消