最近又看到生产上的kafka集群环境，看到某个消费者组消费消息异常严重，之前好好地入库，现在挤压消息异常严重，不知道该从哪些方面进行排查？
该主题分区36个分区，该主题一直源源不断的产生大量消息，7天kafka消息数据大约40亿左右，发送到kafka里面的数据是字节，解析后存入hbase数据库，程序之前运行的好好的没啥问题，就是最近一段时间消费挤压严重，有这方面的大佬给解答一下吧。
发表于 2022-02-28
解析后存入hbase数据库，我认为是这2个阶段，会导致慢。
个人2个排查优化的维度：
1、hbase的能力到了瓶颈，导致慢，进而影响了整个集群慢，优化写入。（通过统计hbase每秒增加的总条数）。
2、hbase没到瓶颈，写入增大了，继续增加该topic的分区数，加大消费者处理业务的能力。
目前查看整个大数据集群的log日志发现是io负荷较大，而且同时段还存在其他业务大量占用集群压力的情况
你的答案