kafka 2.6.2 进程异常退出
1、异常退出,导致索引文件受损,导致发送端耗时升高,再次重启,加载到该文件出错。
2、只有这个topic有问题:__consumer_offsets
Error processing append operation on partition __consumer_offsets-21 (kafka.server.ReplicaManager)
org.apache.kafka.common.errors.InvalidOffsetException: Attempt to append an offset (49760738) to position 3006 no larger than the last offset appended (49760738) to /opt/esearch/kafka_cluster/kaf
ka-logs/__consumer_offsets-21/00000000000049669327.index.
4、错误信息如上,集群超半数节点都出现了该问题。
5、重启Kafka节点只能短暂修复,半个小时后还是会异常。也曾替换正常节点的索引,无效。希望有一种解决办法。
我使用的kafka 2.7.1版本也遇到了这种问题,请问您查到问题原因和解决方法了吗?
kafka 2.6.2不该出现这样的问题,是老版本才会有。
你可能需要
删除错误日志文件
才能恢复。丢失消息和引发的情况,可参考:kafka节点非正常退出后重启失败
我使用的kafka 2.7.1也遇到了这种问题,并不是只有低版本才会出现
你的答案