那你应该是完美解决你的问题了,可以通过record.offset()
定位你当前失败的位置。
这边尝试过的同事跟我反馈是,offset设置0,就是全部重试,offset是多少,就丢掉多少数据
如果没报超时,可以实现:
nack的方法
index我在想是不是一个消息批次的offset位置,就是说一个批次比如有1000条,你是全部重复消费还是怎么样。
我现在没办法尝试,我希望你测试后可以给我分享下结果。
能具体点么?小白不懂linux.
结论:max.request.size=104857600
是connector内部topic的prodcuer的配置.producer.max.request.size=104857600
是connector source record 的prodcuer的配置.
在connect-distributed.properties
中配置,如下:
producer.max.request.size=15728640
可以,类似于这样
KAFKA_OPTS=-Xmx4096M kafka-consumer-perf-test.sh --broker-list localhost:9092 --messages 100 --topic DCS-ORACLE-CDC-HF3WD -timeout 300000