我以為我創(chuàng)建一個表并啟用流，我現(xiàn)在有了一個 ARN創(chuàng)建運動流配置某處以告訴 dynamoDb 流寫入 kinesis 流我正在考慮使用https://github.com/harlow/kinesis-consumer但這是從 kinesis 讀取的，或者我可以使用 ARN 并使用它直接從 dynamoDB 流中讀取嗎？我看得越多，我似乎越想，我必須編寫一個 lambda 來讀取 dynamoDB 并寫入 kinesis。那是對的嗎？謝謝
3 回答
拉莫斯之舞
TA貢獻1820條經(jīng)驗 獲得超10個贊
您可以為更改數(shù)據(jù)捕獲 (CDC) 選擇 DynamoDB Streams 或 Kinesis Data Streams。
| 特性 | 適用于 DynamoDB 的 Kinesis 數(shù)據(jù)流 | DynamoDB 流 |
|---|---|---|
| 數(shù)據(jù)保留 | 最長 1 年。 | 24小時。 |
| Kinesis 客戶端庫 (KCL) 支持 | 支持 KCL 版本 1.X 和 2.X。 | 支持 KCL 版本 1.X。 |
| 消費者數(shù)量 | 每個分片最多 5 個同時使用者，或者每個分片最多 20 個同時使用者（具有增強的扇出）。 | 每個分片最多同時有 2 個消費者。 |
| 吞吐量配額 | 無限。 | 受 DynamoDB 表和 AWS 區(qū)域的吞吐量配額限制。 |
| 記錄交付模式 | 使用 GetRecords 通過 HTTP 拉取模型，并通過增強的扇出，Kinesis Data Streams 使用 SubscribeToShard 通過 HTTP/2 推送記錄。 | 使用 GetRecords 通過 HTTP 拉取模型。 |
| 記錄的排序 | 每個流記錄上的時間戳屬性可用于識別 DynamoDB 表中發(fā)生更改的實際順序。 | 對于 DynamoDB 表中修改的每個項目，流記錄的顯示順序與項目的實際修改順序相同。 |
| 重復(fù)記錄 | 重復(fù)的記錄可能偶爾會出現(xiàn)在流中。 | 流中不會出現(xiàn)重復(fù)的記錄。 |
| 流處理選項 | 使用 AWS Lambda、Kinesis Data Analytics、Kinesis data firehose 或 AWS Glue 流式 ETL 處理流記錄。 | 使用 AWS Lambda 或 DynamoDB Streams Kinesis 適配器處理流記錄。 |
| 耐久性等級 | 可用區(qū)提供不間斷的自動故障轉(zhuǎn)移。 | 可用區(qū)提供不間斷的自動故障轉(zhuǎn)移。 |
慕無忌1623718
TA貢獻1744條經(jīng)驗 獲得超4個贊
您可以使用 Amazon Kinesis Data Streams 捕獲對 Amazon DynamoDB 的更改。根據(jù)AWS文檔：
Kinesis Data Streams 捕獲任何 DynamoDB 表中的項目級修改并將其復(fù)制到 Kinesis 數(shù)據(jù)流。您的應(yīng)用程序可以訪問此流并近乎實時地查看項目級更改。您每小時可以連續(xù)捕獲和存儲 TB 級的數(shù)據(jù)。您可以利用更長的數(shù)據(jù)保留時間，并且通過增強的扇出功能，您可以同時訪問兩個或更多下游應(yīng)用程序。其他好處包括額外的審計和安全透明度。
您還可以啟用從 DynamoDB 表流式傳輸?shù)?Kinesis。
PIPIONE
TA貢獻1829條經(jīng)驗 獲得超9個贊
您能提供更多有關(guān)您的目標設(shè)置的信息嗎？您是否計劃對您的 dynamoDB 表進行某種 ETL 流程？據(jù)我所知，當(dāng)您將 kinesis 流綁定到 dynamodb 表時，每次在 dynamodb 上添加、刪除或更新行時，都會在關(guān)聯(lián)的 kinesis 流中發(fā)布一個新事件，您可以以任何您想要的方式從中使用和使用該事件。
- 3 回答
- 0 關(guān)注
- 174 瀏覽
添加回答
舉報
0/150
提交
取消