kafka一直在rebalance,导致无法消费

发表于: 2020-07-20   最后更新时间: 2020-07-20 21:00:59   3,080 游览

版本 : kafka_2.12-2.4.0

kafka一直在rebalance,导致无法消费。

comsumer报错如下:

screenshot

server端:
screenshot

配置:

max.block.ms = 60000
auto.commit.interval.ms = 30000
enable.auto.commit = true
max.poll.interval.ms = 500000
max.poll.records = 300
session.timeout.ms = 10000
heartbeat.interval.ms = 3000

小白请教下大神们

发表于 2020-07-20
¥1.0

auto.commit.interval.ms 这个30秒不行,少于30秒,默认是5秒(如果提交失败,则这个间隔时间的消息都会重新消费)。
引起的原因其实很简单,kafka客户端默认超时时间是30秒,如果消费者没有响应,就会触发重新平衡。

-> 半兽人 4年前

你好大神,请问下是这个auto.commit.interval.ms 太大引起的?但是重新平衡了很久都未能再次消费,消费者没挂,就是一直卡着,不能从kafka消费消息

-> 半兽人 4年前

设置了 auto.offset.reset=earliest 这个属性

-> 半兽人 4年前

以前低版本的时候设置 consumer.timeout.ms=-1, 消费者不超时,新版本好像没看到这个属性,consumer超时时间

半兽人 -> 4年前

你以上提供的配置都不是这个问题,我给你说的你试试。
或者你把这些配置全部删掉,用默认的,也不会出问题。

-> 半兽人 4年前

好的,感谢大佬,我先试试

Jeff.Smile -> 4年前

好巧,下午的时候我也遇到了,请问您解决了吗?

-> Jeff.Smile 4年前

改了之后,确实到现在没再出现了,不过后续还要看看,因为以前也是过一段时间才出现的

你的答案

查看kafka相关的其他问题或提一个您自己的问题