kafka 发送 较大文件时速度慢怎么办？

夏天 发表于: 2020-11-06   最后更新时间: 2020-11-11 17:41:07   2,402 游览

我们要用 kafka 发送的数据很多，每天大概一亿条，每条大小在 2M 以内，
其中，有的主题处理的文件比较小，大约几K，生产者发送速度很快；

但是有的主题里处理文件比较大，大于 1M，生产者发送速度很慢，导致文件大量积压在磁盘上，
请问该怎么优化呢？

环境：kafka 2.3，jdk 1.8

kafka
发表于 2020-11-06
夏天

因为kafka本身是不适合做这总单条消息很大的（默认1m，单条），所以调优的话，也只能加粗加大。

  1. batch.size
  2. message.max.bytes
  3. socket.request.max.bytes
  4. buffer.memory
  5. max.request.size
  6. request.timeout.ms
  7. ...参考下面链接，关注超时时间和max

https://www.orchome.com/472
https://www.orchome.com/511
https://www.orchome.com/535

回复
回答于 4年前
半兽人
夏天 -> 半兽人 4年前

非常感谢

0 0 回复
你的答案

查看kafka相关的其他问题或提一个您自己的问题。
提问

找不到想要的答案？提一个您自己的问题。