springboot 整合 Kafka 消费时,消费者服务器每次重启,消费偏移量都从零开始消费。

Fantastic A 发表于: 2018-09-05   最后更新时间: 2018-09-05 15:11:54   8,432 游览

配置
screenshot
代码
screenshot

以上是全部。

发表于 2018-09-05

earliest换成latest。

Fantastic A -> 半兽人 6年前

好的 谢谢哈

Fantastic A -> 半兽人 6年前

消费者发生异常 然后消费者就在异常时的这段偏移中量重复往返消费?而且consumer offset一直没变化是什么情况导致的呢

半兽人 -> Fantastic A 6年前

报错的话内部消化,不要往上抛。应该是影响了springboot的提交。

慕容紫枫 -> 半兽人 4年前

请问 latest 不是会丢消息么 从消费者宕机到启动的这段消息就没了? earliest是 从上次提交offset 之后开始消费吧 用earliest是对的吧?

慕容紫枫 -> 半兽人 4年前

请问下 我看他这个配置 是消费者1s自动提交一次,如果是这种情况下假设 处理数据在1s内没提交就宕机了的话 是会有上一个1s的提交记录吧, 重启之后设置earliest或者 latest 应该都会从上一个提交记录开始拉数据吧 如果是一个新的消费者之前没有提交过offset的 是不是 earliest 从头拉取 latest 从当前最新的拉取对么?感谢~

半兽人 -> 慕容紫枫 4年前

earliest 是不管你的offset,从最早的开始拉取。
latest是从最后提交的offset的位置拉取。
你可以动手测试一下。

慕容紫枫 -> 半兽人 4年前

我测了一下 大佬 官网的文档里面的说的是对的 我发了个新帖望大佬指正 公司最近业务因为疫情暴增 用了kafka 结果现在还在熟悉怎么用 最近有问题大佬多多的指正 再次感谢~~~

人生如梦 -> 半兽人 4年前

我也是这种情况,我是latest,也是从0开始消费

半兽人 -> 人生如梦 4年前

注意你的offset是否已经提交了,可以检查消费者组offset的位置,lag(未消费)的消息数。
https://www.orchome.com/454

人生如梦 -> 半兽人 4年前

offset是5,一共五条测试数据

半兽人 -> 人生如梦 4年前

前提是自动提交开启了。还一种可能是不是main方法跑的,跑完进程结束了,结果offset还没来得及提交。 加个休眠试试

你的答案

查看kafka相关的其他问题或提一个您自己的问题