我用jmeter进行了单分区的压力测试,Number of Threads->50、Ramp-up period(in seconds):2、loop count:100。所有的测试在单topic同一分区下进行,得到结果如下,
offset=16692
offset=16691
offset=16693
offset=16702
offset=16703
offset=16705
offset=16708
offset=16710
offset=16711
offset=16709
offset=16712
offset=16713
offset=16714
offset=16718
offset=16719
offset=16722
offset=16725
offset=16726
offset=16729
offset=16728
offset=16727
offset=16733
offset=16735
offset=16737
offset=16743
offset=16744
offset=16745
offset=16748
offset=16746
offset=16747
offset=16756
......
有的如你所说是间隔确实拉大了,但是有的确实连续的。
另外,当我用非springboot配置的事务去执行kafka时,可以保证offset是连续的。
代码如下:
public static void main(String[] args) {
// Producer 配置信息,应该配置在属性文件中
Properties props = new Properties();
//指定要连接的 broker,不需要列出所有的 broker,但建议至少列出2个,以防某个 broker 挂了
props.put("bootstrap.servers", "10.60.153.252:9092");
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("transactional.id", "test.transactional.id"); // 需要设置 transactional.id
// 创建 Producer
Producer<string, string=""> producer = new KafkaProducer<string, string="">(props);
// 初始化事务
producer.initTransactions();
try {
// 开启事务
producer.beginTransaction();
for (int i = 0; i < 10; i++) {
// 发送消息
producer.send(new ProducerRecord("wxy_test", "message "+i), new Callback() {
public void onCompletion(RecordMetadata metadata, Exception exception) {
if(exception != null) {
System.out.println("send message i failed with " + exception.getMessage());
} else {
// offset 是消息在 partition 中的编号,可以根据 offset 检索消息
System.out.println("message i sent to " + metadata.topic() + ", partition " + metadata.partition() + ", offset " + metadata.offset());
}
}
});
}
// 提交事务
producer.commitTransaction();
} catch(KafkaException e) {
// 终止事务
producer.abortTransaction();
} finally {
producer.close();
}
}
我是觉得如果真是spring-kafka集成事务导致这个offset间隔2,那就是个bug啊。很容易让人觉得是消息传递不正常。
当你启用producerFactory.setTransactionIdPrefix("trans-");
。
在这种情况下,客户端会启用一个生产者缓存,用于确认kafka集群返回的信息。
我不太清楚springboot提供的kafka客户端是什么机制打印的,我想如果kafka的发送的消息先在缓存中,等待确认,那kafka返回确认的时候,从缓存中踢出(多笔一起踢出),客户端打印的时候,同一时间点,跳过了已经确认过的offset。
你可以加大发送压力,看看offset间隔是否会扩大。
最后,kafka发送有同步发送和异步发送,理论上异步发送都是按批次发的,offset也会间隔的更大才是。 你还是得压一下。