OrcHome OrcHome
OrcHome个人中心.
小脑袋贼大 修改资料 更换头像
关注(0) 粉丝(0) 积分(0)
关注

暂无关注.....

粉丝

暂无粉丝.....


小脑袋贼大 回复 小脑袋贼大 kafka消费者客户端(0.10.0.1API) 中:
再开一个consumer性能的确会提升,这个和我的问题关系不大,
我的问题是consumer在kafka本机消费和consumer在远端消费的性能是不是有差异?
目前我测出的结果是:consumer在kafka本机消费性能要更高一些,我想知道这是为啥
18天前
半兽人 回复 小脑袋贼大 kafka消费者客户端(0.10.0.1API) 中:
170是本机的,171测试的时候,你可以尝试在开个分区,并增加一个consumer来测试一下(为了在新增一条长连接通道)。

18天前
小脑袋贼大 回复 小脑袋贼大 kafka消费者客户端(0.10.0.1API) 中:
十分感谢上一个问题的答复,还想问您一个kafka问题
我用两台设备组成kafka集群,ip分别为170、171,两台服务器用万兆光纤连接在万兆交换机上,我创建了一个topic只有1个分区,这个分区在170上,我在170服务器上开了一个consumer,测试出性能带宽500MB/S,在171上开了一个consumer测出带宽只有300MB/S,这种现象是为什么?排除掉网络因素,您还有别的思路么?
谢谢
18天前
半兽人 回复 小脑袋贼大 kafka消费者客户端(0.10.0.1API) 中:
嗯,知道你的问题,之前说了额,是消费者主动拉取消息的,就是消息完了在去kafka中拿。
你这种情况,多开几个消费者吧,这是为了多分几个分区,其他的参数只能调大一次拿消息的数量。
否则,你只能手动分配分区了,那样更复杂了。
18天前
小脑袋贼大 回复 小脑袋贼大 kafka消费者客户端(0.10.0.1API) 中:
您好,感谢你积极的答复,是这样的,消费者C1在一台性能很高的服务器上,消费者C2在普通的机器上,
我想让C1获得更多的分区,让性能高的服务器多干活。
请问,除了在服务器上多开几个消费者外,还有别的办法么?
18天前
半兽人 回复 小脑袋贼大 kafka消费者客户端(0.10.0.1API) 中:
假的,如果你业务处理的快,自然而然C1就会获取更多的消息。
消费者是主动拉取消息的。
18天前
小脑袋贼大 kafka消费者客户端(0.10.0.1API) 发表评论:
您好:
        我这有一个问题,一个topic有多个partitions,消费者组里有两个性能不一样的消费者C1和C2,两个消费者都以subscribe方式订阅了这个topic,
我想让性能更高的C1消费者获得更多的partition数量,而不是C1、C2均分partitions数量。
在老版本的消费者有一个num.consumer.fetchers配置项,fetch线程数多的消费者可以分到更多的partitions
新版本的消费者没有了num.consumer.fetchers配置项,请问新版本消费者还可以让性能更高的C1获得更多的分区数么?
19天前

小脑袋贼大 回复 小脑袋贼大 kafka消费者客户端(0.10.0.1API) 评论:
再开一个consumer性能的确会提升,这个和我的问题关系不大,
我的问题是consumer在kafka本机消费和consumer在远端消费的性能是不是有差异?
目前我测出的结果是:consumer在kafka本机消费性能要更高一些,我想知道这是为啥
18天前
半兽人 回复 小脑袋贼大 kafka消费者客户端(0.10.0.1API) 评论:
170是本机的,171测试的时候,你可以尝试在开个分区,并增加一个consumer来测试一下(为了在新增一条长连接通道)。

18天前
小脑袋贼大 回复 小脑袋贼大 kafka消费者客户端(0.10.0.1API) 评论:
十分感谢上一个问题的答复,还想问您一个kafka问题
我用两台设备组成kafka集群,ip分别为170、171,两台服务器用万兆光纤连接在万兆交换机上,我创建了一个topic只有1个分区,这个分区在170上,我在170服务器上开了一个consumer,测试出性能带宽500MB/S,在171上开了一个consumer测出带宽只有300MB/S,这种现象是为什么?排除掉网络因素,您还有别的思路么?
谢谢
18天前
半兽人 回复 小脑袋贼大 kafka消费者客户端(0.10.0.1API) 评论:
嗯,知道你的问题,之前说了额,是消费者主动拉取消息的,就是消息完了在去kafka中拿。
你这种情况,多开几个消费者吧,这是为了多分几个分区,其他的参数只能调大一次拿消息的数量。
否则,你只能手动分配分区了,那样更复杂了。
18天前
小脑袋贼大 回复 小脑袋贼大 kafka消费者客户端(0.10.0.1API) 评论:
您好,感谢你积极的答复,是这样的,消费者C1在一台性能很高的服务器上,消费者C2在普通的机器上,
我想让C1获得更多的分区,让性能高的服务器多干活。
请问,除了在服务器上多开几个消费者外,还有别的办法么?
18天前
半兽人 回复 小脑袋贼大 kafka消费者客户端(0.10.0.1API) 评论:
假的,如果你业务处理的快,自然而然C1就会获取更多的消息。
消费者是主动拉取消息的。
18天前
小脑袋贼大 kafka消费者客户端(0.10.0.1API) 发表评论:
您好:
        我这有一个问题,一个topic有多个partitions,消费者组里有两个性能不一样的消费者C1和C2,两个消费者都以subscribe方式订阅了这个topic,
我想让性能更高的C1消费者获得更多的partition数量,而不是C1、C2均分partitions数量。
在老版本的消费者有一个num.consumer.fetchers配置项,fetch线程数多的消费者可以分到更多的partitions
新版本的消费者没有了num.consumer.fetchers配置项,请问新版本消费者还可以让性能更高的C1获得更多的分区数么?
19天前