启动Kafka,导致部署主机系统命令响应慢,Ping值高,怎么调优?

finally 发表于: 2016-10-27   最后更新时间: 2016-10-27 19:19:20   4,516 游览

刚启动的时候,cpu消耗比较高,在700%,但过了两三秒就能自动下降到4%。觉得这个值不算高的呀。
ping值会从启动之前的零点几毫秒上升到两百多。这个直接导致我消费者的消费速度变慢。
另外kafka启动后,在控制台终端输入命令,系统响应变慢。
下图是top情况:
screenshot

下图是网络情况,2181是zookeeper的端口地址。看上去很多外围主机尝试连接80:2181口都是TIME_WAIT。比对了下其他集群主机zk和kafka配置都是相同的,却没有这种情况。这种问题怎么破?求思路。

screenshot

发表于 2016-10-27

什么环境?

finally -> 半兽人 7年前

Red Hat Enterprise Linux Server release 6.7

finally -> finally 7年前

后来查出来问题原因了。Kafka服务器主网口网线有问题,导致切换到备用网口eth1,备用网口只有10M带宽。so ....

半兽人 -> finally 7年前

这就尴尬了 哈

我看你物理内存不多了。free -m

finally -> 半兽人 7年前

             total       used       free     shared    buffers     cached
Mem:        128669     121130       7539          0        627     113778
-/+ buffers/cache:       6724     121945
Swap:        32767          0      32767
 
linux貌似内存管理是可以预占物理内存空间,有需要使用时候再动态分配空间。实际上没使用这么多空间吧。

半兽人 -> finally 7年前

用户空间,kafka会缓存部分数据在内存中,提高执行效率。

finally -> 半兽人 7年前

谢谢你  准备扩容主机增加分区数,希望能减小这台机子的压力。

你的答案

查看kafka相关的其他问题或提一个您自己的问题