我有一個管道，它獲取文件的 URL，并為除標題之外的每一行下載這些生成的 BigQuery 表行。為避免重復下載，我想根據(jù)以前下載過的表格檢查 URL，如果 URL 不在這個“歷史”表中，則只繼續(xù)存儲該 URL。為此，我需要將歷史記錄存儲在允許唯一值的數(shù)據(jù)庫中，或者為此使用 BigQuery 可能更容易，但對表的訪問必須嚴格串行。我可以強制單線程執(zhí)行（在一臺機器上）來滿足我的部分管道嗎？（在這一點之后，我的 100 個 URL/文件中的每一個都適合在單獨的線程上處理；每個文件都會產(chǎn)生 10000-10000000 行，因此在這一點上進行限制幾乎肯定不會產(chǎn)生性能問題。）
1 回答
慕姐4208626
TA貢獻1852條經(jīng)驗 獲得超7個贊
Beam 專為并行處理數(shù)據(jù)而設(shè)計，它會嘗試明確阻止您進行同步或阻塞，除非使用一些內(nèi)置原語，例如Combine。
聽起來你想要的是一個過濾器，它只在第一次看到元素（你的 URL）時發(fā)出它。您或許可以為此使用內(nèi)置的Distinct 轉(zhuǎn)換。此運算符使用組合鍵按鍵（在本例中為您的 URL）對元素進行分組，然后僅在第一次看到每個鍵時發(fā)出它。
添加回答
舉報
0/150
提交
取消