发现最近很多人遇到kafka客户端消费时,拿不到消息的情况,我来推荐几个排查的方式。 通过集群的命令启动消费者,同步监控,确保消息确实有。(如果是自己写的客户端发送,建议使用官方提供java例子,自己写的发送我不知道你是怎么实现的,很多自己改了客户端,发送时由于消息还在缓存中,还没来的及发送,程序就已经结束了,导致的消息丢失了) 先启动客户端的消费者,再发送消息(只有第一次需要,因为在此之前,还没有注册到消费列表中,之前在topic里的消息就不会被刚启动的消费者消费到。)
您好 我的kafka是2.11-2.0.0,有3个节点,每个topic有5个partition ,两个不同groupid的线程消费同一个topic,一个可以正常消费,另一个一直不消费,连接也不报错,命令可以看到不消费的那个group,显示有数据积压 ,用命令测试可以正常消费该topic,请问这个怎么解决?
按照你的说法,都是正常的,看不到问题。 消费者直接拿官方原生的例子进行消费试试,不要动代码。因为之前有人代码包的线程有问题。
前辈请问下,我的kafka无论是集群还是单点,消息都会堆积很多,及时消费不掉,造成数据延迟。有没有好的解决方案。急呀
你发个问题贴吧,把你机器的配置布局,分区数和当前的并发描述一下。我给你分析一下。
欢迎补充。
我遇到的情况是
# FORMAT: # listeners = security_protocol://host_name:port # EXAMPLE: # listeners = PLAINTEXT://your.host.name:9092
官网给的例子为
listeners=PLAINTEXT://:9092
感觉容易误导恩,如果不设置ip的情况下,kafka集群只能本机使用。
客户端不能消费,可以生产,求大神看看什么原因
用命令消费,确保消息是真的收到了。
命令都是可以的,可以生产可以,可以消费,客户端可以生产,服务器命令也可以消费,就是终端不能消费,debug 报错:org.apache.kafka.common.errors.GroupCoordinatorNotAvailableException: The group coordinator is not available.
您好,首次消费解决了,但是想了解下第二条 --先启动客户端的消费者,再发送消息--是从哪里了解的呢
先启动客户端就是为了首次消费呀。
嗯嗯,我是想问这个流程,你是从官方文档或API中了解到的,还是测试出来的?
原理如此的,就跟你订报纸一样,你没订之前,报纸是不会发给你的,当你第一次订报纸后,报社才清楚。所以之后的新报纸,会一直给你。之前发过的就不会在给你了。
你的答案