k8s部署,pod里hosts也配置了,还是连接超时。怀疑是zk地址找不到,offset是能连接集群的,大佬有什么好方法解决吗
解决了,如果docker部署需要再容器内配置hosts,也就是部署kafka-map的机器或容器要有kafka集群的hosts
我也遇到kafka连接超时,版本3.0.0,用offset explorer就能连上,kafka-map一直超时,找不到原因
增加一步消息确认消费的步骤,大概的步骤如下:
这个虽然稳健一点,但是如果第三步的时候crash了,依旧会造成重复消费(你可以加一步待确认消息,告警或者通过人工处理来确认这笔消息是否被消费国,来弥补这个问题)
所以总结下来,kill -9
或者程序crash
的情况下,幂等保证不了的。
这种极端的条件建议不要过度的设计了,我们使用了7、8年了,还没有出现过这种问题。