zk和kafka之间的认证失败了,检查下kafka和zk之间的认证。
谢谢你了,哥,后续我再慢慢研究下。暂时我就通过命令标记删除,这样试了下过1分钟就自动删除掉了,缺点就是必须得保证生产的数据,消费者都拉完了,因为一下子全删完了。
./kafka-topics.sh --delete --zookeeper 127.0.0.1:2181 --topic gpsdata
那么是不是由于一直在生产数据,导致Kafka这边判断一直没有去删除呢
不会的,kafka是基于消息的时间戳,滚动删除的。
如果你都能确认,你这个情况我用了那么多年第一次遇到。
配置文件肯定对的,相对绝对路径我都试了。改完Kafka和Zookeeper两个都重启了,还是没用。
因为正式环境一直在生产数据,而且Topic一直用的都是gpsdata,那么是不是由于一直在生产数据,导致Kafka这边判断一直没有去删除呢,它是会根据.timeindex文件找到过期的数据进行删除吗?
从没见过数据被标记为deleted的情况。
你失败的原因可能是__consumer_offsets
是个单个副本,这个topic存储的是kafka消费者的offset。
另外,关键有问题的topic的描述你没有贴,你用kafka自动的命令进行消费和生产也ok的时候,在去进行代码测试。
## 查询集群描述
bin/kafka-topics.sh --describe --zookeeper 127.0.0.1:2181
## 查询集群描述(新)
bin/kafka-topics.sh --bootstrap-server localhost:9092 --topic foo --describe
命令来自:kafka命令大全