kafka发布订阅模式下,第一个consumer 消费信息时间大概100ms, 但最后一个consumer消费却需要6s左右

Mr. Lonely 发表于: 2016-05-06   最后更新时间: 2021-04-09 17:01:14   4,741 游览

楼主,您好, 我现在遇到一个问题.

情况描述:

1、有1000个consumer 去消费同一个topic中的信息, 当1000个consumer不在同一组时,采用pub-sub模式时, 第一个consumer 消费信息时间大概100ms, 但最后一个consumer消费却需要6s左右, 该怎么解决呢?

2、如何使用queue模式, 一个topic采用partitions 1000, 代码该如何写, 如何实现呢?

测试场景:

PC-1: KAFKA服务器,
PC-2: producer端,
PC-3: eclipse 中跑 1000 个 consumer,采用pub-sub模式,consumers 都不在同一组中。

谢谢

发表于 2016-05-06
添加评论

1、有可能是测试的方式不对,kafka消费者是主动拉取的方式获得消息的,最后那条线程并不一定已经启动去拉取了。
2、queue,topic只能有1个partition

你的答案

查看kafka相关的其他问题或提一个您自己的问题