第七色在线视频,2021少妇久久久久久久久久,亚洲欧洲精品成人久久av18,亚洲国产精品特色大片观看完整版,孙宇晨将参加特朗普的晚宴

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

在 Dataflow 中從 BigQuery 寫入 Cloud Storage 時如何設置文件大小而

在 Dataflow 中從 BigQuery 寫入 Cloud Storage 時如何設置文件大小而

函數(shù)式編程 2023-08-09 15:31:28
目前使用 Dataflow 從 BigQuery 讀取表數(shù)據(jù),并使用一定數(shù)量的分片寫入 Cloud Storage。//Read Main InputPCollection<TableRow> input = pipeline.apply("ReadTableInput",    BigQueryIO.readTableRows().from("dataset.table"));// process and write filesinput.apply("ProcessRows", ParDo.of(new Process())    .apply("WriteToFile", TextIO.write()        .to(outputFile)        .withHeader(HEADER)        .withSuffix(".csv")        .withNumShards(numShards));為了管理文件大小,我們估計了將文件保持在一定大小所需的分片總數(shù)。有沒有辦法代替設置分片數(shù)量,設置文件大小并讓分片動態(tài)?
查看完整描述

1 回答

?
MMMHUHU

TA貢獻1834條經(jīng)驗 獲得超8個贊

根據(jù)設計,這是不可能的。如果您深入研究 Beam 的核心,您可以通過編程方式定義一個執(zhí)行圖,然后運行它。ParDo該過程在同一節(jié)點或多個節(jié)點/VM 上是大規(guī)模并行的(意味著“并行執(zhí)行”)。

這里的分片數(shù)量只是并行工作以寫入文件的“寫入器”的數(shù)量。然后PCollection將被拆分給所有worker寫入。

大小變化很大(例如消息的大小、文本編碼、壓縮與否以及壓縮因子……),Beam 不能依賴它來構建其圖形。


查看完整回答
反對 回復 2023-08-09
  • 1 回答
  • 0 關注
  • 110 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯(lián)系客服咨詢優(yōu)惠詳情

幫助反饋 APP下載

慕課網(wǎng)APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網(wǎng)微信公眾號