當(dāng)前場景：我們正在使用一些java代碼處理40M記錄，并將其作為csv文件上傳到s3存儲桶。未來：我們希望將此代碼移動到 AWS，為此，我們希望有一個 python 腳本來處理記錄并將其作為 csv 文件加載到 aws-s3 存儲桶中。你能建議最好的方法，可以觸發(fā)腳本和處理數(shù)據(jù)嗎？我們希望避免使用 EC2 并在服務(wù)器中托管 python 腳本。我們希望將其作為無服務(wù)器服務(wù)。我的方法：我想過使用 AWS-Glue 執(zhí)行此操作，使用觸發(fā)器（基于自動/基于時(shí)間）啟動作業(yè)，并將我的代碼放在作業(yè)內(nèi)的腳本中。這是一個好方法嗎？
2 回答
蕪湖不蕪
TA貢獻(xiàn)1796條經(jīng)驗(yàn) 獲得超7個贊
您可以使用AWS Fargate，考慮到Lambda的最大執(zhí)行時(shí)間為15分鐘，它可以與Lambda集成，因此您應(yīng)該使用Fargate。
更多詳情 https://serverless.com/blog/serverless-application-for-long-running-process-fargate-lambda/
此外，您還可以使用 AWS 事件規(guī)則來安排它
外觀解決方案始終存在。但是有好的做法和壞的做法。
如果我告訴你，你可以只用AWS lambda和AWS EventRule來做到這一點(diǎn)，而SQS聽起來會如何。有趣？
簡而言之，你可以做到這一點(diǎn)。跟蹤 lambda 中消耗的時(shí)間，當(dāng)它達(dá)到 14 分鐘時(shí)，向 SQS 發(fā)送一條消息，指示您已處理的行號，將處理的文件上傳到 s3，然后退出。使用該 SQS 再次觸發(fā) lambda，并將一些消息保留期定為 30 秒，以再次調(diào)用相同的 lambda 并從該行號開始。完成所有處理后，您將在 S3 中擁有多個已處理的文件，請使用另一個 lambda 和 SQS 將它們合并為一個。這不是一個壞的做法，但在我看來不太好，快樂？
慕田峪9158850
TA貢獻(xiàn)1794條經(jīng)驗(yàn) 獲得超8個贊
您可以使用 Cloudwatch 事件規(guī)則定期調(diào)用您定義的計(jì)劃，并將 lambda 函數(shù)作為其目標(biāo)。這是 AWS 文檔中有關(guān)如何執(zhí)行此操作的教程。
添加回答
舉報(bào)
0/150
提交
取消