OrcHome OrcHome
OrcHome个人中心.

Captain刘

已关注 关注

关注

暂无关注.....

粉丝

暂无粉丝.....


Captain刘 回复 半兽人 kafka生产者API 中:
谢谢,第二个问题我在看一下。第一个问题分区没有在新增节点上。当时查过了,所以很疑惑。
4月前
半兽人 回复 Captain刘 kafka生产者API 中:
1、查看test-topic分区的分布情况,如果分区有联系到新增加的节点,就会有影响。
2、kafka有限流,不过要手动设置。20s不可用,检查下是否已经把整个kafka网络个吃完了?导致kafka集群之间的心跳也阻塞,而引起的不可用。
4月前
Captain刘 kafka生产者API 发表评论:
你好,我请教两个生产者的问题。
1.背景:目前有一个主题test-topic,3个partition,平均分布在3个broker上。此时,生产者客户端可以正常的想服务器发送消息,消费消息。然后我又扩容了3个broker节点。防火墙上没有打通生产者客户端和broker的9092端口。此时test-topic使用9092端口生产消息,发现消费到的消息有丢失。
将9092端口防火墙打通后,该现象消息,恢复正常。想不通这是什么原因?

2.目前test-topic接口2M字节左右数据正常。当向该topic发送100M字节的数据说话,发现topic对应kafka-broker的节点有20s左右的不可用,数据下降后恢复,查看时次节点leader不可用了。我想问下,咱们的kafka不能限流吗?为什么直接导致了kafka服务挂掉,而不是丢消息。
4月前

Captain刘 回复 半兽人 kafka生产者API 评论:
谢谢,第二个问题我在看一下。第一个问题分区没有在新增节点上。当时查过了,所以很疑惑。
4月前
半兽人 回复 Captain刘 kafka生产者API 评论:
1、查看test-topic分区的分布情况,如果分区有联系到新增加的节点,就会有影响。
2、kafka有限流,不过要手动设置。20s不可用,检查下是否已经把整个kafka网络个吃完了?导致kafka集群之间的心跳也阻塞,而引起的不可用。
4月前
Captain刘 kafka生产者API 发表评论:
你好,我请教两个生产者的问题。
1.背景:目前有一个主题test-topic,3个partition,平均分布在3个broker上。此时,生产者客户端可以正常的想服务器发送消息,消费消息。然后我又扩容了3个broker节点。防火墙上没有打通生产者客户端和broker的9092端口。此时test-topic使用9092端口生产消息,发现消费到的消息有丢失。
将9092端口防火墙打通后,该现象消息,恢复正常。想不通这是什么原因?

2.目前test-topic接口2M字节左右数据正常。当向该topic发送100M字节的数据说话,发现topic对应kafka-broker的节点有20s左右的不可用,数据下降后恢复,查看时次节点leader不可用了。我想问下,咱们的kafka不能限流吗?为什么直接导致了kafka服务挂掉,而不是丢消息。
4月前