kafka产生大量重复消息

fnh 发表于: 2020-06-16   最后更新时间: 2020-06-16 11:22:40   2,958 游览

各位好!

我在centOS7,用CDH,部署了kafka集群。kafka是0.11版本的,是CDH官网的发布版jar包,不是kafka官网的源码。

问题描述:

按照kafka producer的默认配置,使用produce api,向随便一个主题发送消息,有很大概率出现大量的消息重复(每分钟重复几万条),即使我断开了kafka的producer,消息还是会自动生成发送,直到服务器的硬盘空间都被占满(200G左右),或者删除掉目标主题(有时候删除目标主题并不管用,还得重启下zookeeper或者kafka服务)。我看了生成的消息,所有的消息是完全一样的。

已经尝试的方法:

  1. producer request.required.acks设置为0,不管用;
  2. 查看了kafka broker的日志,没有发现有效的信息,日志上只是提示消费者上下线和再平衡的消息。

头疼了好久,kafka服务是部署在公司的内网。

各位老哥有没有碰到类似问题的,请赐教T T。

发表于 2020-06-16
fnh
添加评论

我也遇到了一样的问题,使用的是 Kafka version: 2.2.1-cdh6.3.1 版本,我是某一个topic有两个partition处于离线状态,之后重启了kafka集群,然后就产生了大量重复的数据,不知道什么原因

一二三四五 -> 3年前

请问你解决了吗,我也遇到了这个问题,将partition数量改为1,就正常了

请问你解决这个问题了吗?

默认的分区和副本都是1,也不行,你解决了吗?

我在其中有节点挂掉的时候,会出现重复现象。目前还没有完全解决

你可以先检查你的配置文件,如果节点信息配置错误的话,它肯定会出现这种情况的。(我之前的bootstrap.servers配置错误的时候就会这样)。
今天出现这种情况是因为在kafka生成消息的时候我重启节点了

你说的是节点信息配置指的是?
想我的bootstrap.servers为['10.88.81.121:9092', ' 10.88.81.122:9092', '10.88.81.123:9092', '10.88.81.124:9092']这样子
感觉是没错,因为是时好时坏

1、kafka消息重复,多半是程序写的有问题(多线程)。
2、你拿官方提供的kafka例子去跑,不要改动任何代码,看看消息是否重复。
https://www.orchome.com/189

fnh -> 半兽人 4年前

嗯嗯,忘了说了,我之前试过console-producer,console-producer就生产一条消息,还是存在我上面描述的消息重复的问题。。
你说的官方例子我也试过。。

半兽人 -> fnh 4年前

这不可能,一条消息还重复。。你把命令贴一下

fnh -> 半兽人 4年前
kafka-console-producer --broker-list localhost:9092 --topic test0

之后出现一串信息,然后出现输入提示符>
之后我随便输入一条消息,比如'aaaaa',
然后就会收到很多条,每分钟几万条吧,重复的'aaaaa',除了时间戳之外其余的都是一样的

半兽人 -> fnh 4年前

amazing....
消费者命令呢。

fnh -> 半兽人 4年前

没用消费者命令。。用了一个工具叫kafkaTool来监视主题下的消息

fnh -> 半兽人 4年前

换了2.5官网版本搭了一个测试服务没有出现这个问题了。。不知道cdh里面集成的是哪一个版本的kafka,实在不行只能换版本重新部署了,,我是刚接触kafka没多久的,,这个问题真是把我愁坏了

fnh -> fnh 4年前

cdh的版本是6.3.2-1.cdh6.3.2.p0.1605554,kafka是cdh安装时候自带的

半兽人 -> fnh 4年前

你在观察观察吧,你这个算是黑盒,看不到怎么运行的。

你的答案

查看kafka相关的其他问题或提一个您自己的问题