OrcHome OrcHome
OrcHome个人中心.

Z.N.S ` Z `

已关注 关注

关注

暂无关注.....

粉丝

暂无粉丝.....


半兽人 回复 Z.N.S ` Z ` Kafka Streams开发者指南 中:
可以解决。逻辑层你自己写,注意线程work会启动多个,注意线程安全。
1月前
Z.N.S ` Z ` 回复 Z.N.S ` Z ` Kafka Streams开发者指南 中:
类似于我用kafka consumer从topic的分区中采集出了一批数据,这批数据我需要启5个线程向mysql中并行的插入数据。这样的需求使用kafka 
stream 会不会得到解决呢?
1月前
Z.N.S ` Z ` Kafka Streams开发者指南 发表评论:
请问我想要实现以下功能:对于一个分区来说,采集出来的数据被多个线程并行的写入到mysql中。这个需要如何实现呢?
1月前
半兽人 回复 Z.N.S ` Z ` kafka消费者客户端(0.10.0.1API) 中:
这是自然了,资源是有限的。
1月前
Z.N.S ` Z ` 回复 半兽人 kafka消费者客户端(0.10.0.1API) 中:
暂时的情况就是集群和消费者需要在同一个集群中,所以还是需要分别启动在三台机器上比较好么?
1月前
半兽人 回复 Z.N.S ` Z ` kafka消费者客户端(0.10.0.1API) 中:
你是说kafka集群比较一般,还是三个进程客户端机器比较一般?
处理消息肯定是在不同的机器更好,处理逻辑需要cpu,内存等。一台机器的cpu个数是有限的。
1月前
Z.N.S ` Z ` 回复 半兽人 kafka消费者客户端(0.10.0.1API) 中:
非常感谢解答,还有一个问题,现在kafka的这三个节点的配置比较一般,考虑到带宽,内存等限制,这三个进程是不是在三个不同的节点上启动比较好呢?
1月前
半兽人 回复 Z.N.S ` Z ` kafka消费者客户端(0.10.0.1API) 中:
没看懂。是不是你想表达的是,一个topic有3个分区,想并行处理这个topic的消息。
假设topic中有3万条消息,启动3个单进程消费者,同一个group。1人分1个分区(每个进程分1万的数据),是好的。
1月前
Z.N.S ` Z ` kafka消费者客户端(0.10.0.1API) 发表评论:
请教一个问题:假如我想在三个节点的kafka集群中并行处理一个三个分区的topic,是不是在三个节点上分别起一个单进程的消费者,并配成通一个group比较好呢?
1月前
半兽人 回复 Z.N.S ` Z ` kafka入门介绍 中:
你先读读文章吧,这个概念你得先懂。
1月前
Z.N.S ` Z ` 回复 半兽人 kafka入门介绍 中:
是不是需要设置不同的group.id来消费指定的partition呢?
1月前
半兽人 回复 Z.N.S ` Z ` kafka入门介绍 中:
kafka集群和消费者客户端在同一台机器吗? 不会的,是随机分的。
如果有需要可以指定。但是程序会增加复杂度。
1月前
Z.N.S ` Z ` kafka入门介绍 发表评论:
问一下同一个消费者组,在kafka的集群上消费kafka数据的话会默认选择选本地的分区吗?
1月前

半兽人 回复 Z.N.S ` Z ` Kafka Streams开发者指南 评论:
可以解决。逻辑层你自己写,注意线程work会启动多个,注意线程安全。
1月前
Z.N.S ` Z ` 回复 Z.N.S ` Z ` Kafka Streams开发者指南 评论:
类似于我用kafka consumer从topic的分区中采集出了一批数据,这批数据我需要启5个线程向mysql中并行的插入数据。这样的需求使用kafka 
stream 会不会得到解决呢?
1月前
Z.N.S ` Z ` Kafka Streams开发者指南 发表评论:
请问我想要实现以下功能:对于一个分区来说,采集出来的数据被多个线程并行的写入到mysql中。这个需要如何实现呢?
1月前
半兽人 回复 Z.N.S ` Z ` kafka消费者客户端(0.10.0.1API) 评论:
这是自然了,资源是有限的。
1月前
Z.N.S ` Z ` 回复 半兽人 kafka消费者客户端(0.10.0.1API) 评论:
暂时的情况就是集群和消费者需要在同一个集群中,所以还是需要分别启动在三台机器上比较好么?
1月前
半兽人 回复 Z.N.S ` Z ` kafka消费者客户端(0.10.0.1API) 评论:
你是说kafka集群比较一般,还是三个进程客户端机器比较一般?
处理消息肯定是在不同的机器更好,处理逻辑需要cpu,内存等。一台机器的cpu个数是有限的。
1月前
Z.N.S ` Z ` 回复 半兽人 kafka消费者客户端(0.10.0.1API) 评论:
非常感谢解答,还有一个问题,现在kafka的这三个节点的配置比较一般,考虑到带宽,内存等限制,这三个进程是不是在三个不同的节点上启动比较好呢?
1月前
半兽人 回复 Z.N.S ` Z ` kafka消费者客户端(0.10.0.1API) 评论:
没看懂。是不是你想表达的是,一个topic有3个分区,想并行处理这个topic的消息。
假设topic中有3万条消息,启动3个单进程消费者,同一个group。1人分1个分区(每个进程分1万的数据),是好的。
1月前
Z.N.S ` Z ` kafka消费者客户端(0.10.0.1API) 发表评论:
请教一个问题:假如我想在三个节点的kafka集群中并行处理一个三个分区的topic,是不是在三个节点上分别起一个单进程的消费者,并配成通一个group比较好呢?
1月前
半兽人 回复 Z.N.S ` Z ` kafka入门介绍 评论:
你先读读文章吧,这个概念你得先懂。
1月前
Z.N.S ` Z ` 回复 半兽人 kafka入门介绍 评论:
是不是需要设置不同的group.id来消费指定的partition呢?
1月前
半兽人 回复 Z.N.S ` Z ` kafka入门介绍 评论:
kafka集群和消费者客户端在同一台机器吗? 不会的,是随机分的。
如果有需要可以指定。但是程序会增加复杂度。
1月前
Z.N.S ` Z ` kafka入门介绍 发表评论:
问一下同一个消费者组,在kafka的集群上消费kafka数据的话会默认选择选本地的分区吗?
1月前