flume 使用 tail 采集一個文件的數(shù)據(jù)到kafka topic當(dāng)開啟了kafka consumer的時候 。文件追加五條。 consumer消費五條。一切正常然后當(dāng)使用--from-beginning? 查看這個topic 的所有數(shù)據(jù)的時候。 發(fā)現(xiàn)真實消費的數(shù)據(jù)少了一些。剛才消費的五條數(shù)據(jù),并不能全部查到。?其它信息:(1)配置: flume配置的是memory channel?(2)查看kafka log目錄下的分區(qū)下的 xxxx.log文件?發(fā)現(xiàn)當(dāng)被采集文件追加 5條左右(為了讓數(shù)據(jù)寫入同一個partion,這里追加的五條數(shù)據(jù)一模一樣), xxx.log才刷新一條 。--from-beginning 開啟的控制臺消費者才能看到這一條。?但是如果同時開啟了另一個consumer 。追加的所有條目。都是可以消費到的。?也就是consumer可以消費到,但是?--from-beginning? 卻沒有獲取到請問有同學(xué)知道這是為什么嗎?
kafka --from-beginning 獲取的數(shù)據(jù)與之前消費的數(shù)據(jù)不一致
殘葉聽風(fēng)
2019-10-04 16:45:07