Vampire

0 声望

这家伙太懒，什么都没留下

个人动态
  • 贬了 Vampire 在 Kafka Connect的用法 的评论!

    logstash.

    5年前
  • Vampire 回复 Vampire 在 kafka消费者Java客户端 中 ：

    我尝试通过掐表验证这个间隔时间，但是时间间隔和这个配置props.put(ConsumerConfig.MAX_POLL_INTERVAL_MS_CONFIG,10000)不是完全符合的，第一次读到55条数据和第二次读到55条数据的时间间隔差不多是10秒，但是第二次读到和第三次读到之间的时间间隔是绝对不止10秒的

    5年前
  • Vampire 在 kafka消费者Java客户端 发表评论：

    手动控制偏移量的demo,我在topic里只放了55条数据，所以等价于offset长时间未提交，读入到buffer的数据为55条，然后在过了一定时间后，消费者会重新读这55条数据，此时buffer就变成110条数据，请问这个时间间隔具体是由哪里控制的，是消费者，还是topic,还是broker,具体是哪个参数，这个机制我是理解的，只是这个情况对我来说还是有问题的，如果确实因为消息处理的很慢，导致消息被重复处理，仍然是不可接受的，请问有什么途径可以完全避免这种情况的发生吗

    5年前
  • 半兽人 回复 Vampire 在 kafka生产者Java客户端 中 ：

    到0.9后zk弱化了。向下不兼容了

    5年前
  • Vampire 回复 半兽人 在 kafka生产者Java客户端 中 ：

    给我的直观感受就是--zookeeper有毒，使用一次之后，各种命令行工具的运行结果好像都有点问题

    5年前
  • Vampire 回复 半兽人 在 kafka生产者Java客户端 中 ：

    我具体说一下，是我通过--bootstrap-server参数创建的topic，通过--bootstrap-server可以查到topic列表，这时我用--zookeeper参数去创建一个topic,然后再查topic列表就查不到了，无论通过--bootstrap-server还是--zookeeper参数，终端也没有报错。。。

    5年前