最近又看到生产上的kafka集群环境,看到某个消费者组消费消息异常严重,之前好好地入库,现在挤压消息异常严重,不知道该从哪些方面进行排查?
该主题分区36个分区,该主题一直源源不断的产生大量消息,7天kafka消息数据大约40亿左右,发送到kafka里面的数据是字节,解析后存入hbase数据库,程序之前运行的好好的没啥问题,就是最近一段时间消费挤压严重,有这方面的大佬给解答一下吧。
最近又看到生产上的kafka集群环境,看到某个消费者组消费消息异常严重,之前好好地入库,现在挤压消息异常严重,不知道该从哪些方面进行排查?
该主题分区36个分区,该主题一直源源不断的产生大量消息,7天kafka消息数据大约40亿左右,发送到kafka里面的数据是字节,解析后存入hbase数据库,程序之前运行的好好的没啥问题,就是最近一段时间消费挤压严重,有这方面的大佬给解答一下吧。
解析后存入hbase数据库,我认为是这2个阶段,会导致慢。
个人2个排查优化的维度:
1、hbase的能力到了瓶颈,导致慢,进而影响了整个集群慢,优化写入。(通过统计hbase每秒增加的总条数)。
2、hbase没到瓶颈,写入增大了,继续增加该topic的分区数,加大消费者处理业务的能力。
目前查看整个大数据集群的log日志发现是io负荷较大,而且同时段还存在其他业务大量占用集群压力的情况
你的答案