首頁猿問某些記錄的 Azure...

某些記錄的 Azure eventhub Kafka org.apache.kafka.

Java

梵蒂岡之花 2023-08-09 15:15:06

有一個(gè)包含 80 到 100 條記錄的 ArrayList，嘗試流式傳輸并將每個(gè)單獨(dú)的記錄（POJO，不是整個(gè)列表）發(fā)送到 Kafka 主題（事件中心）。安排一個(gè) cron 作業(yè)，例如每小時(shí)將這些記錄 (POJO) 發(fā)送到事件中心。能夠看到消息發(fā)送到 eventhub ，但在 3 到 4 次成功運(yùn)行后出現(xiàn)以下異常（其中包括多條正在發(fā)送的消息和幾條因以下異常而失敗的消息） Expiring 14 record(s) for eventhubname: 30125 ms has passed since batch creation plus linger time以下是使用的 Producer 的配置， props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class); props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class); props.put(ProducerConfig.ACKS_CONFIG, "1"); props.put(ProducerConfig.RETRIES_CONFIG, "3");消息保留期 - 7 分區(qū) - 6 使用 spring Kafka(2.2.3) 發(fā)送標(biāo)記為@Asynckafka send 寫入位置的事件方法 @Async protected void send() { kafkatemplate.send(record); }預(yù)期 - kafka 不會(huì)拋出異常實(shí)際 - 拋出 org.apache.kafka.common.errors.TimeoutException

查看完整描述

2 回答

萬千封印

TA貢獻(xiàn)1891條經(jīng)驗(yàn) 獲得超3個(gè)贊

Prakash - 我們已經(jīng)看到了許多問題，其中尖峰生產(chǎn)者模式會(huì)出現(xiàn)批處理超時(shí)。

這里的問題是生產(chǎn)者有兩個(gè) TCP 連接可以空閑超過 4 分鐘 - 此時(shí)，Azure 負(fù)載均衡器會(huì)關(guān)閉空閑連接。Kafka 客戶端不知道連接已關(guān)閉，因此它嘗試在失效連接上發(fā)送批處理，該連接超時(shí)，此時(shí)將開始重試。

將connections.max.idle.ms設(shè)置為<4分鐘——這允許Kafka客戶端的網(wǎng)絡(luò)客戶端層優(yōu)雅地處理生產(chǎn)者消息發(fā)送TCP連接的連接關(guān)閉
將metadata.max.age.ms設(shè)置為<4分鐘——這實(shí)際上是生產(chǎn)者元數(shù)據(jù)TCP連接的保持活動(dòng)狀態(tài)

反對(duì) 回復(fù) 2023-08-09

長(zhǎng)風(fēng)秋雁

TA貢獻(xiàn)1757條經(jīng)驗(yàn) 獲得超7個(gè)贊

此異常表明您對(duì)記錄進(jìn)行排隊(duì)的速度快于發(fā)送記錄的速度。將記錄添加到批次后，發(fā)送該批次就有一個(gè)時(shí)間限制，以確保它已在指定的持續(xù)時(shí)間內(nèi)發(fā)送。這是由 Producer 配置參數(shù) request.timeout.ms 控制的。如果批次排隊(duì)時(shí)間超過超時(shí)限制，則會(huì)拋出異常。該批次中的記錄將從發(fā)送隊(duì)列中刪除。

反對(duì) 回復(fù) 2023-08-09