kafka分区写入速度疑问

旅行。 发表于: 2019-07-22   最后更新时间: 2019-07-22 17:46:25   2,568 游览

一、假设目前有一个topic,分区个数100,那么我起100个线程。

  1. 每个线程不指定分区写入数据。
  2. 每个线程指定分区写入数据。

那这两个的写入速度是谁快谁慢?

二、假设一个topic3个分区,我单线程往topic写入速度每秒5Mb/s,我同时另起线程写入。

  1. 那么新线程+旧线程速度=5Mb/s ?
  2. 如果我改成3个线程写入3个分区,那三个线程的速度加起来5Mb/s,还是3*5Mb/s
发表于 2019-07-22
添加评论

一、没差,指定和非指定无非是轮询写和固定写,固定写也是你自己的代码逻辑。
二、3*5Mb,另外总的上限有控制,broker和生产者都有,可以参考文档。

旅行。 -> 半兽人 5年前

好的,谢谢解惑。

旅行。 -> 半兽人 5年前

还得再请教您一下,我程序目前消费1个分区速度是8M/s,消费2个分区是16M/s,目前消费数据有积压。
我觉得是broker部分有限速了,但是翻了翻文档中broker的配置,没找到有关速度限制的配置,麻烦您能说下具体哪个参数控制这个速度吗?

旅行。 -> 半兽人 5年前

已找到,quota.consumer.default参数

你的答案

查看kafka相关的其他问题或提一个您自己的问题