OrcHome OrcHome
OrcHome个人中心.

冰点

已关注 关注

关注

暂无关注.....

粉丝

暂无粉丝.....


12345 回复 冰点 kafka producer异步发送在失败回调里close,会失去前面retry的request的正确回调结果 中:
遇到一样的问题,谢谢提醒。
还有一个问题,kafka估计有一个返回的验证机制,发送完后立即关闭进程。会导致错误。
这个社区有群么?
1月前
冰点 回复 Jack kafka producer异步发送在失败回调里close,会失去前面retry的request的正确回调结果 中:
“同一个producer发送很多topic-partition”这句话是说,要尽量少的共享使用同一个producer对象并发的发送多个partition,比如多线程使用同一个producer对象进行同步发送,或者单线程使用同一个producer对象进行异步发送。

2月前
Jack 回复 冰点 kafka producer异步发送在失败回调里close,会失去前面retry的request的正确回调结果 中:
大哥,请问一下“同一个producer发送很多topic-partition”这句话是什么意思?是说topic的partition数少设一点,不要超过broker个数就可以了吗?
producer.config对应的配置文件和consumer.config对应的配置文件还有什么其他配置项是需要注意的吗?谢谢
2月前
冰点 kafka producer异步发送在失败回调里close,会失去前面retry的request的正确回调结果 发表评论:
问题解决了,问题在于我们用同一个producer发送很多topic-partition,发送中的partition不会做超时检查,但指向同一个broker而且因为前面request导致等待未发送的partition的batch会被检查超时。我在这里回答,给其他人提供相同问题的解决办法,producer尽量减少发送的topic-partition,即使同一个topic如果partition多于broker数,也会容易出相同问题。
2月前
发表了 kafka producer异步发送在失败回调里close,会失去前面retry的request的正确回调结果
2月前
半兽人 回复 冰点 Got error produce response with correlation id xxx on topic-partition xxxxx, retrying (9 attempts left). Error: NETWORK_EXCEPTION 中:
嗯,呼叫他。
4月前
冰点 回复 半兽人 Got error produce response with correlation id xxx on topic-partition xxxxx, retrying (9 attempts left). Error: NETWORK_EXCEPTION 中:
感谢回复。分区状态都正常。集群节点数为3,topic副本数为3,ack为all。 我能懂你的意思,主要从broker集群的压力去分析,如果消息被副本同步过慢,leader返回给producer就会被延误。但发帖提问的那人 shiro 他说 “是producer 参数配置问题,发送太慢导致堆积了造成的”。所以我对他的解决思路感到困惑。
4月前
半兽人 回复 冰点 Got error produce response with correlation id xxx on topic-partition xxxxx, retrying (9 attempts left). Error: NETWORK_EXCEPTION 中:
# 看下你发送分区的状态是否正常。
bin/kafka-topics.sh --describe --zookeeper 

1. 主要是确认你的各个节点是否都收到了消息。
2. 你的副本数是多少个,是否每个节点都备份了。

当消息发到broker集群之后,消息会被同步各个副本中,然后返回响应给生产者。ack你配置是ALL还是什么?

4月前
冰点 回复 半兽人 Got error produce response with correlation id xxx on topic-partition xxxxx, retrying (9 attempts left). Error: NETWORK_EXCEPTION 中:
谢谢你的帮助。跟这个帖子的场景一样,kafka1.0在producer压力过大时,会间歇性的出现两种warning日志 Got error produce response with correlation id xxx on topic-partition xxxxx, retrying (9 attempts left). Error: NETWORK_EXCEPTION Got error produce response with correlation id xxx on topic-partition xxxxx, retrying (9 attempts left). Error: REQUEST_TIMED_OUT 有点区别的是,warning是NETWORK_EXCEPTION时,broker日志会有记录是想返回response给producer但连接已经disconnect了。warning是REQUEST_TIMED_OUT时,broker没有对应的日志体现。 这两个warning是因为producer把消息发送出去了,却没有得到broker的正确响应,感觉和发送太慢形成堆积没有关系,但确实是只有在producer压测压力上来时才会出现。翻查producer源码没有找到答案,想请教站长为什么在producer压力过大时,已经发送出去的消息会返回这两个错误呢?
4月前
半兽人 回复 冰点 Got error produce response with correlation id xxx on topic-partition xxxxx, retrying (9 attempts left). Error: NETWORK_EXCEPTION 中:
描述一下你的场景。
4月前
冰点 回复 半兽人 Got error produce response with correlation id xxx on topic-partition xxxxx, retrying (9 attempts left). Error: NETWORK_EXCEPTION 中:
请问站长能回答下我的疑问吗?
4月前
冰点 回复 shiro Got error produce response with correlation id xxx on topic-partition xxxxx, retrying (9 attempts left). Error: NETWORK_EXCEPTION 中:
请问是修改了producer的什么配置来修复这个问题的呢?这两个warning是因为producer把消息发送出去了,却没有得到broker的正确响应,感觉和发送太慢形成堆积没有关系。而且有点区别的是,warning是NETWORK_EXCEPTION时,broker日志会有记录是想返回response给producer但连接已经disconnect了。warning是REQUEST_TIMED_OUT时,broker没有对应的日志体现。
4月前

12345 回复 冰点 kafka producer异步发送在失败回调里close,会失去前面retry的request的正确回调结果 评论:
遇到一样的问题,谢谢提醒。
还有一个问题,kafka估计有一个返回的验证机制,发送完后立即关闭进程。会导致错误。
这个社区有群么?
1月前
冰点 回复 Jack kafka producer异步发送在失败回调里close,会失去前面retry的request的正确回调结果 评论:
“同一个producer发送很多topic-partition”这句话是说,要尽量少的共享使用同一个producer对象并发的发送多个partition,比如多线程使用同一个producer对象进行同步发送,或者单线程使用同一个producer对象进行异步发送。

2月前
Jack 回复 冰点 kafka producer异步发送在失败回调里close,会失去前面retry的request的正确回调结果 评论:
大哥,请问一下“同一个producer发送很多topic-partition”这句话是什么意思?是说topic的partition数少设一点,不要超过broker个数就可以了吗?
producer.config对应的配置文件和consumer.config对应的配置文件还有什么其他配置项是需要注意的吗?谢谢
2月前
冰点 kafka producer异步发送在失败回调里close,会失去前面retry的request的正确回调结果 发表评论:
问题解决了,问题在于我们用同一个producer发送很多topic-partition,发送中的partition不会做超时检查,但指向同一个broker而且因为前面request导致等待未发送的partition的batch会被检查超时。我在这里回答,给其他人提供相同问题的解决办法,producer尽量减少发送的topic-partition,即使同一个topic如果partition多于broker数,也会容易出相同问题。
2月前
半兽人 回复 冰点 Got error produce response with correlation id xxx on topic-partition xxxxx, retrying (9 attempts left). Error: NETWORK_EXCEPTION 评论:
嗯,呼叫他。
4月前
冰点 回复 半兽人 Got error produce response with correlation id xxx on topic-partition xxxxx, retrying (9 attempts left). Error: NETWORK_EXCEPTION 评论:
感谢回复。分区状态都正常。集群节点数为3,topic副本数为3,ack为all。 我能懂你的意思,主要从broker集群的压力去分析,如果消息被副本同步过慢,leader返回给producer就会被延误。但发帖提问的那人 shiro 他说 “是producer 参数配置问题,发送太慢导致堆积了造成的”。所以我对他的解决思路感到困惑。
4月前
半兽人 回复 冰点 Got error produce response with correlation id xxx on topic-partition xxxxx, retrying (9 attempts left). Error: NETWORK_EXCEPTION 评论:
# 看下你发送分区的状态是否正常。
bin/kafka-topics.sh --describe --zookeeper 

1. 主要是确认你的各个节点是否都收到了消息。
2. 你的副本数是多少个,是否每个节点都备份了。

当消息发到broker集群之后,消息会被同步各个副本中,然后返回响应给生产者。ack你配置是ALL还是什么?

4月前
冰点 回复 半兽人 Got error produce response with correlation id xxx on topic-partition xxxxx, retrying (9 attempts left). Error: NETWORK_EXCEPTION 评论:
谢谢你的帮助。跟这个帖子的场景一样,kafka1.0在producer压力过大时,会间歇性的出现两种warning日志 Got error produce response with correlation id xxx on topic-partition xxxxx, retrying (9 attempts left). Error: NETWORK_EXCEPTION Got error produce response with correlation id xxx on topic-partition xxxxx, retrying (9 attempts left). Error: REQUEST_TIMED_OUT 有点区别的是,warning是NETWORK_EXCEPTION时,broker日志会有记录是想返回response给producer但连接已经disconnect了。warning是REQUEST_TIMED_OUT时,broker没有对应的日志体现。 这两个warning是因为producer把消息发送出去了,却没有得到broker的正确响应,感觉和发送太慢形成堆积没有关系,但确实是只有在producer压测压力上来时才会出现。翻查producer源码没有找到答案,想请教站长为什么在producer压力过大时,已经发送出去的消息会返回这两个错误呢?
4月前
半兽人 回复 冰点 Got error produce response with correlation id xxx on topic-partition xxxxx, retrying (9 attempts left). Error: NETWORK_EXCEPTION 评论:
描述一下你的场景。
4月前
冰点 回复 半兽人 Got error produce response with correlation id xxx on topic-partition xxxxx, retrying (9 attempts left). Error: NETWORK_EXCEPTION 评论:
请问站长能回答下我的疑问吗?
4月前
冰点 回复 shiro Got error produce response with correlation id xxx on topic-partition xxxxx, retrying (9 attempts left). Error: NETWORK_EXCEPTION 评论:
请问是修改了producer的什么配置来修复这个问题的呢?这两个warning是因为producer把消息发送出去了,却没有得到broker的正确响应,感觉和发送太慢形成堆积没有关系。而且有点区别的是,warning是NETWORK_EXCEPTION时,broker日志会有记录是想返回response给producer但连接已经disconnect了。warning是REQUEST_TIMED_OUT时,broker没有对应的日志体现。
4月前