kafka java客户端消费不到消息，但也不报错

半兽人 发表于: 2016-09-18   最后更新时间: 2016-09-20 11:13:15   13,893 游览

发现最近很多人遇到kafka客户端消费时，拿不到消息的情况，我来推荐几个排查的方式。

  1. 通过集群的命令启动消费者，同步监控，确保消息确实有。
    （如果是自己写的客户端发送，建议使用官方提供java例子，自己写的发送我不知道你是怎么实现的，很多自己改了客户端，发送时由于消息还在缓存中，还没来的及发送，程序就已经结束了，导致的消息丢失了）

  2. 先启动客户端的消费者，再发送消息
    (只有第一次需要，因为在此之前，还没有注册到消费列表中，之前在topic里的消息就不会被刚启动的消费者消费到。)

kafka
发表于 2016-09-18
半兽人
添加评论

您好 我的kafka是2.11-2.0.0，有3个节点，每个topic有5个partition ，两个不同groupid的线程消费同一个topic,一个可以正常消费，另一个一直不消费，连接也不报错，命令可以看到不消费的那个group，显示有数据积压 ，用命令测试可以正常消费该topic，请问这个怎么解决？

回复
回答于 4年前
Palan
半兽人 -> Palan 4年前

按照你的说法，都是正常的，看不到问题。 消费者直接拿官方原生的例子进行消费试试，不要动代码。因为之前有人代码包的线程有问题。

0 0 回复
小鱼杰杰 -> 半兽人 4年前

前辈请问下，我的kafka无论是集群还是单点，消息都会堆积很多，及时消费不掉，造成数据延迟。有没有好的解决方案。急呀

0 0 回复
半兽人 -> 小鱼杰杰 4年前

你发个问题贴吧，把你机器的配置布局，分区数和当前的并发描述一下。我给你分析一下。

0 0 回复

欢迎补充。

回复
回答于 7年前
半兽人

我遇到的情况是

#   FORMAT:
#     listeners = security_protocol://host_name:port
#   EXAMPLE:
#     listeners = PLAINTEXT://your.host.name:9092

官网给的例子为 listeners=PLAINTEXT://:9092 感觉容易误导

回复
回答于 7年前
海角天涯
半兽人 -> 海角天涯 7年前

恩，如果不设置ip的情况下，kafka集群只能本机使用。

0 0 回复

客户端不能消费，可以生产，求大神看看什么原因

回复
回答于 6年前
Bright . 先森

用命令消费，确保消息是真的收到了。

0 0 回复

命令都是可以的，可以生产可以，可以消费，客户端可以生产，服务器命令也可以消费，就是终端不能消费，debug 报错：org.apache.kafka.common.errors.GroupCoordinatorNotAvailableException: The group coordinator is not available. 

0 0 回复
回复
回答于 6年前
【н.℃.Ｓ.】

您好，首次消费解决了，但是想了解下第二条 --先启动客户端的消费者，再发送消息--是从哪里了解的呢

0 0 回复

先启动客户端就是为了首次消费呀。

0 0 回复

嗯嗯，我是想问这个流程，你是从官方文档或API中了解到的，还是测试出来的？

0 0 回复

原理如此的，就跟你订报纸一样，你没订之前，报纸是不会发给你的，当你第一次订报纸后，报社才清楚。所以之后的新报纸，会一直给你。之前发过的就不会在给你了。

0 0 回复
你的答案

查看kafka相关的其他问题或提一个您自己的问题。
提问

找不到想要的答案？提一个您自己的问题。