最新版的 kafka 1.0 producer 经常报
Got error produce response with correlation id xxx on topic-partition xxxxx, retrying (9 attempts left). Error: NETWORK_EXCEPTION
Got error produce response with correlation id xxx on topic-partition xxxxx, retrying (9 attempts left). Error: REQUEST_TIMED_OUT
listeners 和 advertised.listeners 我都配了的,各种我都试了还是报这个错,
老的kafka 0.10.2.0 却没这个问题,配置也没啥区别。
这种错误,有谁遇到过么?
请问这个问题你解决了吗?我也遇到了一模一样的问题,producer压力上来后,就不断报这个错了,压力小就不报的。。。到现在还没解决呢。
@shiro
从来没成功过 还是偶发性出现的?
经常出现,不定时出现,大概每隔一两分钟出现,即使是几百条每秒的速率发也会出现,好奇怪啊
是不是你集群中某个节点有问题,你检查下集群的状态。
之前回复的不对,问题是producer 参数配置问题,发送太慢导致堆积了。前面一条回复麻烦帮我删了吧
解决就好,已删。
请问是修改了producer的什么配置来修复这个问题的呢?这两个warning是因为producer把消息发送出去了,却没有得到broker的正确响应,感觉和发送太慢形成堆积没有关系。而且有点区别的是,warning是NETWORK_EXCEPTION时,broker日志会有记录是想返回response给producer但连接已经disconnect了。warning是REQUEST_TIMED_OUT时,broker没有对应的日志体现。
请问站长能回答下我的疑问吗?
描述一下你的场景。
谢谢你的帮助。跟这个帖子的场景一样,kafka1.0在producer压力过大时,会间歇性的出现两种warning日志
Got error produce response with correlation id xxx on topic-partition xxxxx, retrying (9 attempts left). Error: NETWORK_EXCEPTION
Got error produce response with correlation id xxx on topic-partition xxxxx, retrying (9 attempts left). Error: REQUEST_TIMED_OUT
有点区别的是,warning是NETWORK_EXCEPTION时,broker日志会有记录是想返回response给producer但连接已经disconnect了。warning是REQUEST_TIMED_OUT时,broker没有对应的日志体现。
这两个warning是因为producer把消息发送出去了,却没有得到broker的正确响应,感觉和发送太慢形成堆积没有关系,但确实是只有在producer压测压力上来时才会出现。翻查producer源码没有找到答案,想请教站长为什么在producer压力过大时,已经发送出去的消息会返回这两个错误呢?
看下你发送分区的状态是否正常。
bin/kafka-topics.sh --describe --zookeeper
当消息发到broker集群之后,消息会被同步各个副本中,然后返回响应给生产者。ack你配置是ALL还是什么?
感谢回复。分区状态都正常。集群节点数为3,topic副本数为3,ack为all。 我能懂你的意思,主要从broker集群的压力去分析,如果消息被副本同步过慢,leader返回给producer就会被延误。但发帖提问的那人 shiro 他说 “是producer 参数配置问题,发送太慢导致堆积了造成的”。所以我对他的解决思路感到困惑。
嗯,呼叫他。
请问这个问题你解决了吗?我也遇到了一模一样的问题,producer压力上来后,就不断报这个错了,压力小就不报的。。。到现在还没解决呢。
你的答案