如何调优 Kafka?

無名 发表于: 2021-07-27   最后更新时间: 2021-07-27 16:20:23   765 游览

如何调优 Kafka?

发表于 2021-07-27
添加评论

对于Kafka来讲,常见的调优方向基本为:吞吐量、延时、持久性和可用性,每种目标之前都是由冲突点,这也就要求了,我们在对业务接入使用时,要进行业务场景的了解,以对业务进行相对的集群隔离,因为每一个方向的优化思路都是不同的,甚至是相反的。

确定了目标之后,还要明确优化的维度。有些调优属于通用的优化思路,比如对操作系统、JVM等的优化;有些则是有针对性的,比如要优化Kafka的TPS。我们需要从3个方向去考虑:

  • Producer端:增加batch.size和linger.ms,启用压缩,关闭重试
  • Broker端:增加num.replica.fetchers提升Follower同步TPS,避免Broker Full GC等。
  • Consumer:增加fetch.min.bytes
你的答案

查看kafka相关的其他问题或提一个您自己的问题