kafka group删除问题

lq0317。 发表于: 2020-11-18   最后更新时间: 2020-11-18 16:21:38   2,786 游览

kafka_2.10-0.10.2.2 删除无用的group ，是不是直接通过kafka命令删除，而不是删除zk里面的consumers

kafka
发表于 2020-11-18
lq0317。
添加评论

kafka 1.10 之后，group存储在名为__consumer_offsets的topic上了，默认会根据你的log.retention.hours（默认7天）进行删除。

回复
回答于 4年前
半兽人
bingo_919 -> 半兽人 4年前

我的kafka版本2.4 配置文件中 log.retention.hours=8 broker没有设置参数
topic级别 compression.type=producer,cleanup.policy=compact,segment.bytes=104857600,retention.bytes=10240000000
经过8小时依然没有删除

0 0 回复
半兽人 -> bingo_919 4年前

你的清理策略是压缩.

0 0 回复
bingo_919 -> 半兽人 4年前

不应该是这个问题吧。就算改成delete，segement不会翻滚（满足segment.bytes=104857600,retention.bytes=10240000000才会翻滚），也删除不到。

0 0 回复
半兽人 -> bingo_919 4年前

https://www.orchome.com/472
搜索关键字删除，有时效条件，不用纠结立即删除吧。

0 0 回复
bingo_919 -> 半兽人 4年前

满了50个会不会有问题。会不会主动扩展或者自动清理了。兄弟。能加一个微信不，以后共同学习

0 0 回复
半兽人 -> bingo_919 4年前

满50个是啥意思 没听懂额。主题不会自动扩容，清理会自行 不需要担心

0 0 回复
bingo_919 -> 半兽人 4年前

__consumer_offsets 这个topic 默认50个分区，就是不晓得哪个时候清理。没有搞清楚。以后比如消费组超过了50个。会怎么处理

0 0 回复
半兽人 -> bingo_919 4年前

你理解错了。
消费者组存储在这个里面，可以有任意多的，消费者组信息只是在里面的一条消息而已。

0 0 回复
bingo_919 -> 半兽人 4年前

谢谢。我看了，有个进程专门进程kafka.log.LogCleaner 进行数据清理log-cleaner.log。应该默认的可能7天清理一次感觉像

0 0 回复
你的答案

查看kafka相关的其他问题或提一个您自己的问题。
提问

找不到想要的答案？提一个您自己的问题。