Kafka的存储目录存在可用性标记吗？

F 发表于: 2023-08-23   最后更新时间: 2023-08-23 15:03:16   575 游览

近两天我们在生产环境中遇到Kafka不再往存储目录里写数据的问题，看日志是该目录被标记成了 failed log directory，但我们使用dd命令测试该目录是可以正常读写的。

想了解一下Kafka这块相关的机制，以及遇到这种问题该怎么去处理。

kafka
发表于 2023-08-23
F
添加评论

你不会把日志目录放在/tmp/目录下了吧，这个目录会被系统定时回收。

ps： 一般这个错误数据被删，不匹配，这么引起的。

检查日志文件一致性： 使用工具如 kafka-log-dirs.sh（Kafka 提供的工具）来检查日志目录的一致性和完整性，确保没有损坏的日志段。

回复
回答于 1年前
半兽人
F -> 半兽人 1年前

没有放在/tmp下，节点配置了好几个目录，只有这一个目录出现这种情况，而且目录的权限也是对的。
查看日志，最初是在写一个topic分片的leader-epoch-checkpoint报了error，后面就是stop fetcher for partitions xxx and stopped moving logs for partitions because they are in the failed diractory /xx/kafka-logs. Stopping serving logs in dir /xx/kafka-logs。

0 0 回复
半兽人 -> F 1年前

影响这个的问题出现的，我列几种：

  1. /tmp 临时目录
  2. 目录格式
  3. 目录权限（目录不干净，有其他文件权限影响了）

其他如果没有更多的错误，我也帮你分析不出来。

0 0 回复
F -> 半兽人 1年前

使用kafka-log-dirs.sh工具检查日志一致性，问题目录报了KafkaStorageException

0 0 回复
你的答案

查看kafka相关的其他问题或提一个您自己的问题。
提问

找不到想要的答案？提一个您自己的问题。