大头

0 声望

这家伙太懒，什么都没留下

个人动态
  • 大头 回复 追求…… 在 使用Kafka Connect来导入/导出数据 中 ：

    要确认那几个topic都在正常状态，connect-*，其所在主机都处于正常。

    7年前
  • 大头 回复 半兽人 在 kafka broker数据丢失问题 中 ：

    生产很难丢包，基本上是消费，消费逻辑如果不合理也会导致丢失。
    检查下，ISR是否都同步，如果有副本不在isr中，切换状态，kafka重启后丢数据的可能性很大，如果原来的leader变成f，而原来的不在isr中的replica变成了l，这时候会有日志截断，这个部分的消息就丢了

    7年前
  • 半兽人 回复 大头 在 kafka broker数据丢失问题 中 ：

    生产者方面：当生产发送给kafka的消息超时了，这个时候其实是不知道消息kafka是不是已经接收到了。如果应用重发，则消息会重复，如果不发，那消息会丢失。
    消费者方面：拿消费者获取一批数据之后，一批里面可能包含2000条或者更多，这时候有2种情况，直接提交offset。这时候如果应用宕机了，offset已经提交了，那这2000条就丢失了。如果应用程序处理完成这2000条，在提交，那么可能造成重复消费。

    7年前
  • 大头 回复 地中海的蓝 在 kafka broker数据丢失问题 中 ：

    仔细想了下，不一定丢数据，中间态会查不到leader，但是生产和消费都应有响应的同步元数据和类似重试的机制，leader选举后会恢复

    7年前
  • 大头 回复 地中海的蓝 在 kafka broker数据丢失问题 中 ：

    没报错有可能是中断时间比较短，zk一旦断了元数据就查不到了

    7年前
  • 订阅了 ask 主题！ · 7年前