kafka consumer多线程消费的时候,如何让consumer优雅停掉?

想喝好几罐八宝粥的男孩 发表于: 2021-07-14   最后更新时间: 2021-07-14 10:44:42   2,703 游览

现在有这个需求是,时间范围内,采用多线程消费kafka,当消费完毕后,停止掉多线程程序,返回汇总结果,但是现在的问题是遇到了无法停止掉consumer消费者程序,总是卡着不动,参考别人的程序如下所示:希望有懂得人赐教一下,以下是源代码:

主程序:

import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.ArrayList;
import java.util.Arrays;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.Properties;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.TimeUnit;

import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.clients.consumer.OffsetAndTimestamp;
import org.apache.kafka.common.TopicPartition;
import org.apache.kafka.common.errors.WakeupException;


/**
 * Hello world!
 */
public class App {

    KafkaConsumer<String, String> consumer;

    public static void main(String[] args) {
         int numConsumers = 3;
            List<String> topics = Arrays.asList("ceshi");
            ExecutorService executor = Executors.newFixedThreadPool(numConsumers);

            final List<ConsumerLoop> consumers = new ArrayList<>();
            for (int i = 0; i < numConsumers; i++) {
                ConsumerLoop consumer = new ConsumerLoop(i, topics);
                consumers.add(consumer);
                executor.submit(consumer);
            }

            Runtime.getRuntime().addShutdownHook(new Thread() {
                @Override
                public void run() {
                    for (ConsumerLoop consumer : consumers) {
                        consumer.shutdown();
                    } 
                    executor.shutdown();
                    try {
                        executor.awaitTermination(5000, TimeUnit.MILLISECONDS);
                    } catch (InterruptedException e) {
                        e.printStackTrace();
                    }
                }
            });
        }

多线程逻辑程序代码

import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.Properties;
import java.util.concurrent.atomic.AtomicBoolean;

import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.common.errors.WakeupException;
import org.apache.kafka.common.serialization.StringDeserializer;

public class ConsumerLoop implements Runnable {
    private final KafkaConsumer<String, String> consumer;
    private final List<String> topics;
    private final int id;
    private final AtomicBoolean closed = new AtomicBoolean(false);
    public ConsumerLoop(int id, List<String> topics) {
        this.id = id;
        this.topics = topics;
        Properties props = new Properties();
        props.put("bootstrap.servers", "172.20.87.188:9092");
        props.put("group.id", "test-zertd75671");
        props.put("enable.auto.commit", "false");
        props.put("auto.offset.reset", "earliest");
        props.put("key.deserializer", StringDeserializer.class.getName());
        props.put("value.deserializer", StringDeserializer.class.getName());
        this.consumer = new KafkaConsumer<>(props);
      }

    @Override
    public void run() {
        try {
            consumer.subscribe(topics);
            while (!closed.get()) {
                ConsumerRecords<String, String> records = consumer.poll(100);
                for (ConsumerRecord<String, String> record : records) {
                    Map<String, Object> data = new HashMap<>();
                    data.put("partition", record.partition());
                    data.put("offset", record.offset());
                    data.put("value", record.value());
//                    System.out.println(this.id + ": " + data);
                }
            }
        } catch (WakeupException e) {

            if (!closed.get()) throw e;
        } finally {
            consumer.close();
            System.out.println("Closed consumer and we are done");
        }
    }

    public void shutdown() {
        closed.set(true);
        consumer.wakeup();
    }
  }
}
发表于 2021-07-14
添加评论

你写的没问题,是这么退出的。

volatile

不过要用它修饰一下,使其变量在多线程中立即生效,更准确。

另外:kafka是按批次拉取的,一个批次可能有2000条消息,你如果拿到你想要的,最好就忽视剩下的消息了。

我的意思是说执行Runtime.getRuntime().addShutdownHook这个得时候总是无法正常退出,这个不会执行。

volatile这个应修饰那个变量呢?

希望能多指教一下,这个代码,您测试过吗?

忘掉volatile吧,你的consumer.wakeup();已经是线程安全的了,不用加了。
另外,应该关注调用wakeup()之后抛出的WakeupException异常,是否是它导致你其他的线程没有调用关闭通知,因为报错就退出了。

你多打点日志,保障你的关闭方法都正确被调用到了。

我打了很多日志,但是这个consumer.close和addShutdownHook根本就不会执行。

麻烦您可以测试一下,详细交流一下不,就差这个问题,等着结束项目了 。

addShutdownHook都没执行,你怎么触发的?

  • control + c
  • 还是kill 进程号

不是啊,我的意思是说如何在正常消费完后,程序自己去执行这个addShutdownHook,不是靠ctrl+c或者kill

这个方法只能在进程停止时触发,你看方法名就知道了。

你只能手动调用关闭退出消费者。

通过程序自己消费完毕后,来调用wakeup这个方法,

那有这样一个场景,过滤筛选一个时间段内的消息的话,那岂不是一直无法完成消费?也没法获取消费完毕的数据?

你的答案

查看kafka相关的其他问题或提一个您自己的问题