关于kafka几种threads的疑问

漂泊的美好 发表于: 2017-11-09   最后更新时间: 2017-11-09 20:37:16   3,874 游览

目前broker设置里的几种threads，主要有num.replica.fetchers、num.io.threads、num.network.threads以及num.streams这几种。
1、第一个问题，对于这几种该怎么去分配。如果一个服务器是32核，该怎么分配呢？
2、如果这几个线程设置加起来超过服务的核数，会不会导致kafka运行异常？我得意思是，如果某一个threads设置分配过多，会不会挤占其他threads的分配。

kafka
发表于 2017-11-09
漂泊的美好
添加评论

这几个参数的解释，在这个查看 https://www.orchome.com/472

1、 num.replica.fetchers，跟follower同步有关，一般topic主备，性能和容错都可保证。如果你是这种，默认即可，如果你的副本过多并分布不同的节点上，同步时间较长，可增加该值。

num.io.threads、num.network.threads是当客户端请求连接数过大，影响时间变成，但服务器性能强劲，则可递增。

2、不会，这样更紧凑的利用资源。

回复
回答于 7年前
半兽人

1、目前线上集群副本一般设置2-3个，但是数据量挺大的，topic也挺多的，对于32核服务器设置8-12个，是否合适？
2、刚刚看了配置，这几种参数加起来有92，远远超过32，真的不会影响吗？

0 0 回复

不会的，你看linux那专栏，我常用的服务器检测。vmstat等，看看你系统的资源调度如何。

0 0 回复
你的答案

查看kafka相关的其他问题或提一个您自己的问题。
提问

找不到想要的答案？提一个您自己的问题。