各位好!
我在centOS7,用CDH,部署了kafka集群。kafka是0.11版本的,是CDH官网的发布版jar包,不是kafka官网的源码。
问题描述:
按照kafka producer的默认配置,使用produce api,向随便一个主题发送消息,有很大概率出现大量的消息重复(每分钟重复几万条),即使我断开了kafka的producer,消息还是会自动生成发送,直到服务器的硬盘空间都被占满(200G左右),或者删除掉目标主题(有时候删除目标主题并不管用,还得重启下zookeeper或者kafka服务)。我看了生成的消息,所有的消息是完全一样的。
已经尝试的方法:
- 将
producer request.required.acks
设置为0
,不管用; - 查看了kafka broker的日志,没有发现有效的信息,日志上只是提示消费者上下线和再平衡的消息。
头疼了好久,kafka服务是部署在公司的内网。
各位老哥有没有碰到类似问题的,请赐教T T。
我也遇到了一样的问题,使用的是 Kafka version: 2.2.1-cdh6.3.1 版本,我是某一个topic有两个partition处于离线状态,之后重启了kafka集群,然后就产生了大量重复的数据,不知道什么原因
请问你解决了吗,我也遇到了这个问题,将partition数量改为1,就正常了
请问你解决这个问题了吗?
默认的分区和副本都是1,也不行,你解决了吗?
我在其中有节点挂掉的时候,会出现重复现象。目前还没有完全解决
你可以先检查你的配置文件,如果节点信息配置错误的话,它肯定会出现这种情况的。(我之前的bootstrap.servers配置错误的时候就会这样)。
今天出现这种情况是因为在kafka生成消息的时候我重启节点了
你说的是节点信息配置指的是?
想我的
bootstrap.server
s为['10.88.81.121:9092', ' 10.88.81.122:9092', '10.88.81.123:9092', '10.88.81.124:9092']
这样子感觉是没错,因为是时好时坏
1、kafka消息重复,多半是程序写的有问题(多线程)。
2、你拿官方提供的kafka例子去跑,不要改动任何代码,看看消息是否重复。
https://www.orchome.com/189
嗯嗯,忘了说了,我之前试过console-producer,console-producer就生产一条消息,还是存在我上面描述的消息重复的问题。。
你说的官方例子我也试过。。
这不可能,一条消息还重复。。你把命令贴一下
kafka-console-producer --broker-list localhost:9092 --topic test0
之后出现一串信息,然后出现输入提示符
>
之后我随便输入一条消息,比如'aaaaa',
然后就会收到很多条,每分钟几万条吧,重复的'aaaaa',除了时间戳之外其余的都是一样的
amazing....
消费者命令呢。
没用消费者命令。。用了一个工具叫kafkaTool来监视主题下的消息
换了2.5官网版本搭了一个测试服务没有出现这个问题了。。不知道cdh里面集成的是哪一个版本的kafka,实在不行只能换版本重新部署了,,我是刚接触kafka没多久的,,这个问题真是把我愁坏了
cdh的版本是6.3.2-1.cdh6.3.2.p0.1605554,kafka是cdh安装时候自带的
你在观察观察吧,你这个算是黑盒,看不到怎么运行的。
你的答案