1、例如,邮件通知没有先后顺序,所以先消费谁都可以。先后顺序的业务比如手机充值,先扣款成功,在进行充值话费,所以顺序必须要保障。2、producer没有group,它只需要将消息发送到指定的topic即可(和分区)。consumer消费者组是通过进程池瓜分消息并处理消息。这些进程可以在同一台机器运行,也可分布到多台机器上,以增加可扩展性和容错性,相同group.id的消费者将视为同一个消费者组。3、broker = 单个kafka节点,不用指的是什么?
group
group.id
broker也就是完整的Kafka应用程序吗?比如一台服务器两个broker,分别broker-id:1和broker-id。还是说Kafka下的配置?
不用指producer不用broker
你上面打错了吧。broker-id:1和broker-id:2的话是2个单独的kafka节点。
broker-id:1
broker-id:2
broker是kafka节点的别名。
我想问一下,一个消费者消费完每一条数据都发送另一个topics,它消费topic的分区数 需要和他发送topics的分区数一样吗,如果数据量很大前者比后者的分区数多 会有影响吗?
不需要一样,没有关联,kafka的吞吐非常高,kafka的能力接近你物理的带宽和io能力。
现在遇到一个问题,我们服务每次消费完数据后重新发送新的topic,平时从接收到发送只需要耗时1ms,但是高峰期的时候就会出现有的节点发送偶尔耗时300多ms,导致kafka发送超时并且堆积,这个问题可以帮我分析一下吗
新提个问题吧,把你kafka集群环境描述一下(包含topic和分区数副本数等),逻辑。
找不到想要的答案?提一个您自己的问题。
0 声望
这家伙太懒,什么都没留下
1、例如,邮件通知没有先后顺序,所以先消费谁都可以。先后顺序的业务比如手机充值,先扣款成功,在进行充值话费,所以顺序必须要保障。
2、producer没有
group
,它只需要将消息发送到指定的topic即可(和分区)。consumer消费者组是通过进程池瓜分消息并处理消息。这些进程可以在同一台机器运行,也可分布到多台机器上,以增加可扩展性和容错性,相同group.id
的消费者将视为同一个消费者组。3、broker = 单个kafka节点,不用指的是什么?
broker也就是完整的Kafka应用程序吗?比如一台服务器两个broker,分别broker-id:1和broker-id。还是说Kafka下的配置?
不用指producer不用broker
你上面打错了吧。
broker-id:1
和broker-id:2
的话是2个单独的kafka节点。broker是kafka节点的别名。
我想问一下,一个消费者消费完每一条数据都发送另一个topics,它消费topic的分区数 需要和他发送topics的分区数一样吗,如果数据量很大前者比后者的分区数多 会有影响吗?
不需要一样,没有关联,kafka的吞吐非常高,kafka的能力接近你物理的带宽和io能力。
现在遇到一个问题,我们服务每次消费完数据后重新发送新的topic,平时从接收到发送只需要耗时1ms,但是高峰期的时候就会出现有的节点发送偶尔耗时300多ms,导致kafka发送超时并且堆积,这个问题可以帮我分析一下吗
新提个问题吧,把你kafka集群环境描述一下(包含topic和分区数副本数等),逻辑。
你的答案