首頁(yè) 猿問(wèn) 在 Dataflow 中從...

在 Dataflow 中從 BigQuery 寫(xiě)入 Cloud Storage 時(shí)如何設(shè)置文件大小而

Java

函數(shù)式編程 2023-08-09 15:31:28

目前使用 Dataflow 從 BigQuery 讀取表數(shù)據(jù)，并使用一定數(shù)量的分片寫(xiě)入 Cloud Storage。//Read Main InputPCollection<TableRow> input = pipeline.apply("ReadTableInput", BigQueryIO.readTableRows().from("dataset.table"));// process and write filesinput.apply("ProcessRows", ParDo.of(new Process()) .apply("WriteToFile", TextIO.write() .to(outputFile) .withHeader(HEADER) .withSuffix(".csv") .withNumShards(numShards));為了管理文件大小，我們估計(jì)了將文件保持在一定大小所需的分片總數(shù)。有沒(méi)有辦法代替設(shè)置分片數(shù)量，設(shè)置文件大小并讓分片動(dòng)態(tài)？

查看完整描述

1 回答

MMMHUHU

TA貢獻(xiàn)1834條經(jīng)驗(yàn) 獲得超8個(gè)贊

根據(jù)設(shè)計(jì)，這是不可能的。如果您深入研究 Beam 的核心，您可以通過(guò)編程方式定義一個(gè)執(zhí)行圖，然后運(yùn)行它。ParDo該過(guò)程在同一節(jié)點(diǎn)或多個(gè)節(jié)點(diǎn)/VM 上是大規(guī)模并行的（意味著“并行執(zhí)行”）。

這里的分片數(shù)量只是并行工作以寫(xiě)入文件的“寫(xiě)入器”的數(shù)量。然后PCollection將被拆分給所有worker寫(xiě)入。

大小變化很大（例如消息的大小、文本編碼、壓縮與否以及壓縮因子……），Beam 不能依賴它來(lái)構(gòu)建其圖形。

反對(duì) 回復(fù) 2023-08-09