现在有这个需求是,时间范围内,采用多线程消费kafka,当消费完毕后,停止掉多线程程序,返回汇总结果,但是现在的问题是遇到了无法停止掉consumer消费者程序,总是卡着不动,参考别人的程序如下所示:希望有懂得人赐教一下,以下是源代码:
主程序:
import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.ArrayList;
import java.util.Arrays;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.Properties;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.TimeUnit;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.clients.consumer.OffsetAndTimestamp;
import org.apache.kafka.common.TopicPartition;
import org.apache.kafka.common.errors.WakeupException;
/**
* Hello world!
*/
public class App {
KafkaConsumer<String, String> consumer;
public static void main(String[] args) {
int numConsumers = 3;
List<String> topics = Arrays.asList("ceshi");
ExecutorService executor = Executors.newFixedThreadPool(numConsumers);
final List<ConsumerLoop> consumers = new ArrayList<>();
for (int i = 0; i < numConsumers; i++) {
ConsumerLoop consumer = new ConsumerLoop(i, topics);
consumers.add(consumer);
executor.submit(consumer);
}
Runtime.getRuntime().addShutdownHook(new Thread() {
@Override
public void run() {
for (ConsumerLoop consumer : consumers) {
consumer.shutdown();
}
executor.shutdown();
try {
executor.awaitTermination(5000, TimeUnit.MILLISECONDS);
} catch (InterruptedException e) {
e.printStackTrace();
}
}
});
}
多线程逻辑程序代码
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.Properties;
import java.util.concurrent.atomic.AtomicBoolean;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.common.errors.WakeupException;
import org.apache.kafka.common.serialization.StringDeserializer;
public class ConsumerLoop implements Runnable {
private final KafkaConsumer<String, String> consumer;
private final List<String> topics;
private final int id;
private final AtomicBoolean closed = new AtomicBoolean(false);
public ConsumerLoop(int id, List<String> topics) {
this.id = id;
this.topics = topics;
Properties props = new Properties();
props.put("bootstrap.servers", "172.20.87.188:9092");
props.put("group.id", "test-zertd75671");
props.put("enable.auto.commit", "false");
props.put("auto.offset.reset", "earliest");
props.put("key.deserializer", StringDeserializer.class.getName());
props.put("value.deserializer", StringDeserializer.class.getName());
this.consumer = new KafkaConsumer<>(props);
}
@Override
public void run() {
try {
consumer.subscribe(topics);
while (!closed.get()) {
ConsumerRecords<String, String> records = consumer.poll(100);
for (ConsumerRecord<String, String> record : records) {
Map<String, Object> data = new HashMap<>();
data.put("partition", record.partition());
data.put("offset", record.offset());
data.put("value", record.value());
// System.out.println(this.id + ": " + data);
}
}
} catch (WakeupException e) {
if (!closed.get()) throw e;
} finally {
consumer.close();
System.out.println("Closed consumer and we are done");
}
}
public void shutdown() {
closed.set(true);
consumer.wakeup();
}
}
}
你写的没问题,是这么退出的。
volatile
不过要用它修饰一下,使其变量在多线程中立即生效,更准确。
另外:kafka是按批次拉取的,一个批次可能有2000条消息,你如果拿到你想要的,最好就忽视剩下的消息了。
我的意思是说执行Runtime.getRuntime().addShutdownHook这个得时候总是无法正常退出,这个不会执行。
volatile这个应修饰那个变量呢?
希望能多指教一下,这个代码,您测试过吗?
忘掉
volatile
吧,你的consumer.wakeup();
已经是线程安全的了,不用加了。另外,应该关注调用
wakeup()
之后抛出的WakeupException
异常,是否是它导致你其他的线程没有调用关闭通知,因为报错就退出了。你多打点日志,保障你的关闭方法都正确被调用到了。
我打了很多日志,但是这个consumer.close和addShutdownHook根本就不会执行。
麻烦您可以测试一下,详细交流一下不,就差这个问题,等着结束项目了 。
addShutdownHook都没执行,你怎么触发的?
control + c
?kill 进程号
不是啊,我的意思是说如何在正常消费完后,程序自己去执行这个addShutdownHook,不是靠ctrl+c或者kill
这个方法只能在进程停止时触发,你看方法名就知道了。
你只能手动调用关闭退出消费者。
通过程序自己消费完毕后,来调用wakeup这个方法,
那有这样一个场景,过滤筛选一个时间段内的消息的话,那岂不是一直无法完成消费?也没法获取消费完毕的数据?
你的答案