我正在使用 Java 和 SQL 將數(shù)據(jù)移動到新表中。我想要：從 BigQuery 中的舊表中提取數(shù)據(jù)更新/修改多個條目將其推送到 BigQuery 中的另一個現(xiàn)有表不幸的是，一些舊數(shù)據(jù)遵循不同的模式。一些舊表可能有從一到幾百個缺失的列（字段）。我沒有任何可靠的方法來生成或填充這些缺失的數(shù)據(jù)，所以我決定將其保留為空。如何添加具有默認空值的列？目前，我正在使用 SQL QueryJobConfiguration 來拉取、更新和推送數(shù)據(jù)到 BQ：QueryJobConfiguration queryConfig =
QueryJobConfiguration.newBuilder(
"SELECT PARSE_TIMESTAMP('%b %d %T %Y', CONCAT(time, ' 2018')) MyTimestamp, * EXCEPT(time)"
+ "FROM `myProject:MyDataset.MyTable` ")
.setUseLegacySql(false)
.setWriteDisposition(WriteDisposition.WRITE_APPEND)
.setDestinationTable(TableId.of(MyOtherDataset, MyOtherTable))
.build();當(dāng)我嘗試運行它時，BigQuery 會拋出一個異常，聲稱數(shù)據(jù)缺少一列：線程“主”com.google.cloud.bigquery.BigQueryException 中的異常：架構(gòu)更新無效。新架構(gòu)中缺少字段 OtherField
1 回答
阿晨1998
TA貢獻2037條經(jīng)驗 獲得超6個贊
經(jīng)過一堆測試，我發(fā)現(xiàn) BQ 不允許我推送，因為我有幾個字段設(shè)置為“REQUIRED”而不是“NULLABLE”。我完全忘記了他們。幸運的是，BigQuery 有一個實驗方法：setSchemaUpdateOptions。您可以像這樣實現(xiàn)它：
List<SchemaUpdateOption> SchemaUpdate = Arrays.asList(JobInfo.SchemaUpdateOption.ALLOW_FIELD_RELAXATION); .setSchemaUpdateOptions(SchemaUpdate)
ALLOW_FIELD_RELAXATION 本質(zhì)上允許您在任何字段上用 NULLABLE 臨時替換 REQUIRED 模式。
添加回答
舉報
0/150
提交
取消