首頁(yè) 猿問(wèn) kafka的metrics.num...

kafka的metrics.num.samples設(shè)置如何影響records-lag-max

Java

慕蓋茨4494581 2023-12-13 16:30:39

通過(guò) kafka 消費(fèi)者 API 檢索消費(fèi)者指標(biāo)時(shí)，即使使用 kafka-consumer-groups.sh 工具描述消費(fèi)者組顯示消費(fèi)者存在滯后，records-lag-max 偶爾也會(huì)返回 0。metrics.sample.window.ms 默認(rèn)設(shè)置為 30s，metrics.num.samples 默認(rèn)設(shè)置為 2。metrics.num.samples 如何影響records-lag-max 的計(jì)算？

查看完整描述

1 回答

qq_遁去的一_1

TA貢獻(xiàn)1725條經(jīng)驗(yàn) 獲得超8個(gè)贊

我不認(rèn)為它有任何效果。

Records-lag-* 由獲取響應(yīng)結(jié)構(gòu)的latest-offset 字段驅(qū)動(dòng)，該字段告訴客戶端分區(qū)的“邊緣”在代理上的位置。然后，客戶端將該偏移量與實(shí)際獲取響應(yīng)中返回的最新偏移量進(jìn)行比較，以找出它“落后”代理的記錄數(shù)。

每次從代理收到提取響應(yīng)時(shí)，這些指標(biāo)都會(huì)更新，如果您在任何此類提取響應(yīng)到達(dá)之前查詢它們，您可能會(huì)看到 0。

另一方面，kafka-consumer-groups 不會(huì)向您顯示任何特定消費(fèi)者“所在”位置（交付給該消費(fèi)者的最新偏移量），而是顯示該消費(fèi)者上次檢查點(diǎn)到 kafka 的偏移量。消費(fèi)者檢查點(diǎn)會(huì)定期偏移（通常每 30-60 秒一次），因此描述消費(fèi)者組可以顯示非 0 滯后，而消費(fèi)者本身的指標(biāo)（更新更頻繁）將顯示 0。

反對(duì) 回復(fù) 2023-12-13