我的目標(biāo)是創(chuàng)建一種機(jī)制，當(dāng)新文件上傳到云存儲(chǔ)時(shí)，它會(huì)觸發(fā)云函數(shù)。最終，此 Cloud 函數(shù)將觸發(fā) Cloud Dataflow 作業(yè)。我有一個(gè)限制，即 Cloud Dataflow 作業(yè)應(yīng)該用 Go 編寫，而 Cloud Function 應(yīng)該用 Python 編寫。我現(xiàn)在面臨的問(wèn)題是，我無(wú)法從 Cloud Function 調(diào)用 Cloud Dataflow 作業(yè)。用 Go 編寫的 Cloud Dataflow 中的問(wèn)題是template-locationApache Beam Go SDK 中沒(méi)有定義變量。這就是我無(wú)法創(chuàng)建數(shù)據(jù)流模板的原因。而且，由于沒(méi)有數(shù)據(jù)流模板，我可以從云函數(shù)調(diào)用云數(shù)據(jù)流作業(yè)的唯一方法是編寫一個(gè) Python 作業(yè)，該作業(yè)調(diào)用運(yùn)行數(shù)據(jù)流作業(yè)的 bash 腳本。bash 腳本如下所示：go run wordcount.go \--runner dataflow \--input gs://dataflow-samples/shakespeare/kinglear.txt \--output gs://${BUCKET?}/counts \--project ${PROJECT?} \--temp_location gs://${BUCKET?}/tmp/ \--staging_location gs://${BUCKET?}/binaries/ \--worker_harness_container_image=apache-docker-beam-snapshots-docker.bintray.io/beam/go:20180515但上述機(jī)制無(wú)法創(chuàng)建新的數(shù)據(jù)流作業(yè)，而且看起來(lái)很麻煩。有沒(méi)有更好的方法來(lái)實(shí)現(xiàn)我的目標(biāo)？我在上述機(jī)制上做錯(cuò)了什么？
2 回答
慕標(biāo)5832272
TA貢獻(xiàn)1966條經(jīng)驗(yàn) 獲得超4個(gè)贊
Cloud Function 應(yīng)該用 Python 編寫
Cloud Dataflow Client SDK 只能從模板創(chuàng)建數(shù)據(jù)流作業(yè)。因此，除非您創(chuàng)建自己的模板，否則無(wú)法實(shí)現(xiàn)此要求。
我有一個(gè)限制，即 Cloud Dataflow 作業(yè)應(yīng)該用 Go 編寫
由于您的 Python 目標(biāo)無(wú)法實(shí)現(xiàn)，您的另一個(gè)選擇是在 Cloud Functions 中運(yùn)行您的 Go 程序。Go 的 Cloud Functions 在alpha. 但是，我不知道有什么方法可以在 Cloud Functions 中執(zhí)行 Apache Beam (Dataflow) 程序。請(qǐng)記住，Apache Beam 程序開(kāi)始在本地執(zhí)行并將其自身連接到在其他地方（Dataflow、Spark 等）運(yùn)行的集群，除非您選擇runner=DirectRunner.
您選擇了最不成熟的語(yǔ)言來(lái)使用 Apache Beam。成熟度和功能的順序是 Java（優(yōu)秀）、Python（很好并且每天都在進(jìn)步）、Go（還沒(méi)有準(zhǔn)備好迎接黃金時(shí)段）。
如果您想在 Cloud Dataflow 上運(yùn)行用 Go 編寫的 Apache Beam 程序，那么您將需要使用一個(gè)平臺(tái)，例如您的本地系統(tǒng)、Google Compute Engine 或 Google App Engine Flex。我不知道 App Engine Standard 是否可以在 Go 中運(yùn)行 Apache Beam。
MMTTMM
TA貢獻(xiàn)1869條經(jīng)驗(yàn) 獲得超4個(gè)贊
我發(fā)現(xiàn) Apache Beam Go SDK 支持worker_binary類似于template-locationJava 數(shù)據(jù)流作業(yè)的參數(shù)。使用此選項(xiàng)，我能夠從我的 python 云函數(shù)啟動(dòng)一個(gè) go 數(shù)據(jù)流作業(yè)。
- 2 回答
- 0 關(guān)注
- 186 瀏覽
添加回答
舉報(bào)
0/150
提交
取消