kafka 集群节点宕机，消息丢失问题

青天白云 发表于: 2021-12-28   最后更新时间: 2021-12-29 12:19:42   986 游览

这是有一台机器宕机后的节点状态，1 宕机了


生成者向kafka 集群发送 120条消息， 1 分区已经宕机，还能接受 20条消息吗？

消费端消费，只消费到100条消息， 1 分区上的消息没有消费

上面的情况算是丢消息了吧，大佬请问怎么处理呢。

kafka
发表于 2021-12-28
青天白云
添加评论

你的消息没有丢，应该是消费者的offset位置丢了。

新版的kafka，消费者位置存储在主题为__consumer_offsets中，如果它的副本数为1，那就会产生这种现象。

扩容参考：kafka命令大全

回复
回答于 3年前
半兽人
青天白云 -> 半兽人 3年前

好的，我先看看，我的副本刚开始是3个，宕机一台，还有两台； 这种情况 patition1 是不是就不应该再接受到消息了呢？ 这里也不太明白 ~

0 0 回复
半兽人 -> 青天白云 3年前

会不会接受，取决与min.insync.replicas

当producer设置acks为"all"（或"-1"）时。min.insync.replicas指定必须应答成功写入的replicas最小数。如果不能满足最小值，那么producer抛出一个异常（NotEnoughReplicas或NotEnoughReplicasAfterAppend）。
当一起使用时，min.insync.replicas和acks提供最大的耐用性保证。一个典型的场景是创建一个复制因子3的topic，设置min.insync.replicas为2，并且ack是“all”。如果多数副本没有接到写入时，将会抛出一个异常。

参考：Kafka Broker配置

0 0 回复
你的答案

查看kafka相关的其他问题或提一个您自己的问题。
提问

找不到想要的答案？提一个您自己的问题。