版本 : kafka_2.12-2.4.0
kafka一直在rebalance,导致无法消费。
comsumer报错如下:
server端:
配置:
max.block.ms = 60000
auto.commit.interval.ms = 30000
enable.auto.commit = true
max.poll.interval.ms = 500000
max.poll.records = 300
session.timeout.ms = 10000
heartbeat.interval.ms = 3000
小白请教下大神们
auto.commit.interval.ms
这个30秒不行,少于30秒,默认是5秒(如果提交失败,则这个间隔时间的消息都会重新消费)。引起的原因其实很简单,kafka客户端默认超时时间是30秒,如果消费者没有响应,就会触发重新平衡。
你好大神,请问下是这个auto.commit.interval.ms 太大引起的?但是重新平衡了很久都未能再次消费,消费者没挂,就是一直卡着,不能从kafka消费消息
设置了 auto.offset.reset=earliest 这个属性
以前低版本的时候设置 consumer.timeout.ms=-1, 消费者不超时,新版本好像没看到这个属性,consumer超时时间
你以上提供的配置都不是这个问题,我给你说的你试试。
或者你把这些配置全部删掉,用默认的,也不会出问题。
好的,感谢大佬,我先试试
好巧,下午的时候我也遇到了,请问您解决了吗?
改了之后,确实到现在没再出现了,不过后续还要看看,因为以前也是过一段时间才出现的
你的答案