springboot 整合 Kafka 消费时，消费者服务器每次重启，消费偏移量都从零开始消费。

Fantastic A 发表于: 2018-09-05   最后更新时间: 2018-09-05 15:11:54   7,888 游览

配置
screenshot
代码
screenshot

以上是全部。

kafka
发表于 2018-09-05
Fantastic A

earliest换成latest。

回复
回答于 5年前
半兽人
Fantastic A -> 半兽人 5年前

好的 谢谢哈

0 0 回复
Fantastic A -> 半兽人 5年前

消费者发生异常 然后消费者就在异常时的这段偏移中量重复往返消费？而且consumer offset一直没变化是什么情况导致的呢

0 0 回复
半兽人 -> Fantastic A 5年前

报错的话内部消化，不要往上抛。应该是影响了springboot的提交。

0 0 回复
慕容紫枫 -> 半兽人 4年前

请问 latest 不是会丢消息么 从消费者宕机到启动的这段消息就没了？ earliest是 从上次提交offset 之后开始消费吧 用earliest是对的吧？

0 0 回复
半兽人 -> 慕容紫枫 4年前

你记错了，参考
https://www.orchome.com/535

0 0 回复
慕容紫枫 -> 半兽人 4年前

请问下 我看他这个配置 是消费者1s自动提交一次，如果是这种情况下假设 处理数据在1s内没提交就宕机了的话 是会有上一个1s的提交记录吧， 重启之后设置earliest或者 latest 应该都会从上一个提交记录开始拉数据吧 如果是一个新的消费者之前没有提交过offset的 是不是 earliest 从头拉取 latest 从当前最新的拉取对么？感谢~

0 0 回复
半兽人 -> 慕容紫枫 4年前

earliest 是不管你的offset，从最早的开始拉取。
latest是从最后提交的offset的位置拉取。
你可以动手测试一下。

0 0 回复
慕容紫枫 -> 半兽人 4年前

我测了一下 大佬 官网的文档里面的说的是对的 我发了个新帖望大佬指正 公司最近业务因为疫情暴增 用了kafka 结果现在还在熟悉怎么用 最近有问题大佬多多的指正 再次感谢~~~

0 0 回复
人生如梦 -> 半兽人 3年前

我也是这种情况，我是latest，也是从0开始消费

0 0 回复
半兽人 -> 人生如梦 3年前

注意你的offset是否已经提交了，可以检查消费者组offset的位置，lag（未消费）的消息数。
https://www.orchome.com/454

0 0 回复
人生如梦 -> 半兽人 3年前

offset是5，一共五条测试数据

0 0 回复
半兽人 -> 人生如梦 3年前

前提是自动提交开启了。还一种可能是不是main方法跑的，跑完进程结束了，结果offset还没来得及提交。 加个休眠试试

0 0 回复
你的答案

查看kafka相关的其他问题或提一个您自己的问题。
提问

找不到想要的答案？提一个您自己的问题。