✎ @#*

0 声望

这家伙太懒,什么都没留下

个人动态
  • 半兽人 赞了 在 疑似kafka broker不稳定导致提交offset失败,导致重复消费 的评论!

    改了之后:虽然钉钉还会在网络波动的时候报警,因为数据从生产到目标topic大概会用1分钟时间。但是再也没有重复消费情况了。感谢!

    1年前
  • ✎ @#* 回复 ✎ @#*疑似kafka broker不稳定导致提交offset失败,导致重复消费 中 :

    改了之后:虽然钉钉还会在网络波动的时候报警,因为数据从生产到目标topic大概会用1分钟时间。但是再也没有重复消费情况了。感谢!

    1年前
  • 半兽人 赞了 在 到底什么是面向对象设计(实例) 的评论!

    啊,不知道理解的对不对?:
    第一个代码是:病人是对象,注射类型、是否注射、病人都是其属性。显然这些东西作为病人的属性是不“面向对象的”。就比如我们不能说猫是狗的对象,只能说狗有个属性是玩,把对象猫给它,它就能玩了。
    第二个代码是:病人是对象,他有个方法是注射疫苗,直接调方法就能实现功能。但是细节未知。
    第三个代码是:病人、护士、疫苗都是不同对象,先选出疫苗类型,护士可以做的事是打标准疫苗,只要将疫苗和病人给护士,护士就能完成这个事情。

    1年前
  • ✎ @#* 回复 半兽人到底什么是面向对象设计(实例) 中 :

    啊,不知道理解的对不对?:
    第一个代码是:病人是对象,注射类型、是否注射、病人都是其属性。显然这些东西作为病人的属性是不“面向对象的”。就比如我们不能说猫是狗的对象,只能说狗有个属性是玩,把对象猫给它,它就能玩了。
    第二个代码是:病人是对象,他有个方法是注射疫苗,直接调方法就能实现功能。但是细节未知。
    第三个代码是:病人、护士、疫苗都是不同对象,先选出疫苗类型,护士可以做的事是打标准疫苗,只要将疫苗和病人给护士,护士就能完成这个事情。

    1年前
  • ✎ @#* 回复 半兽人疑似kafka broker不稳定导致提交offset失败,导致重复消费 中 :

    收到,感谢大佬,我立马试试,
    1、每次发送后提交
    2、去除休眠
    (当时休眠的原因是正式环境担心数据量太大,比较可能拉一次很多数据,但是发是一条一条的,担心kafka扛不住之类的原因)

    1年前
  • 半兽人 回复 ✎ @#*疑似kafka broker不稳定导致提交offset失败,导致重复消费 中 :

    timeout没了,消费了之后,又调用producer()这个方法,你用了线程池,还休眠3秒,我觉得是这段逻辑写的有问题,如果你把自动提交改成每条提交一次,至少不会在报错了,如:

    records.forEach(
    record -> {
        String data =
                convertDataService.convertData(record.value());
        logger.info("解析后数据 : " + data);
        String topic = convertDataService.getTopic();
        logger.info("发送到topic: " + topic);
        producer(data, topic);
    
        consumer.commitAsync();   // 这里
    });
    
    1年前
  • ✎ @#* 回复 半兽人pulsar:无法操控admin相关api,可以生产消费 中 :

    唉,放弃了,加了依赖还是搞不定netty_tcnative问题:(conscrypt倒是搞定了)

    <!-- https://mvnrepository.com/artifact/org.conscrypt/conscrypt-openjdk-uber -->
    <dependency>
        <groupId>org.conscrypt</groupId>
        <artifactId>conscrypt-openjdk-uber</artifactId>
        <version>2.5.1</version>
        <scope>runtime</scope>
    </dependency>
    <!-- https://mvnrepository.com/artifact/io.netty/netty-all -->
    <dependency>
        <groupId>io.netty</groupId>
        <artifactId>netty-all</artifactId>
        <version>5.0.0.Alpha2</version>
    </dependency>
    <!-- https://mvnrepository.com/artifact/io.netty/netty-tcnative -->
    <dependency>
        <groupId>io.netty</groupId>
        <artifactId>netty-tcnative</artifactId>
        <version>2.0.0.Final</version>
    </dependency>
    <dependency>
        <groupId>io.netty</groupId>
        <artifactId>netty-tcnative-boringssl-static</artifactId>
        <version>2.0.0.Final</version>
    </dependency>
    
    1年前