按照 https://www.orchome.com/299 中方法,采用connect-file-sink.properity示例将kafka中的消息导入test.sink.txt,发现test.sink.txt文件创建成功,但没有内容。使用consumer查看topic中消息是存在的,已经从test.txt中读出。请问是什么原因造成的或者可以从哪里去分析查找原因?
昵称
0 声望
这家伙太懒,什么都没留下
按照 https://www.orchome.com/299 中方法,采用connect-file-sink.properity示例将kafka中的消息导入test.sink.txt,发现test.sink.txt文件创建成功,但没有内容。使用consumer查看topic中消息是存在的,已经从test.txt中读出。请问是什么原因造成的或者可以从哪里去分析查找原因?
请问这个问题解决了吗?
最后,说一下我的解决的办法:删除zk上面broker节点的数据,重新的启动kafka集群
新造的消息会不会写进去,试下。
新造的也写不进去,搭了个windows版的试了下没有问题,不知道集群上的哪里设置出问题了
注意细节。。执行个消费者命令,监控主题是否产生了新消息。
使用kafka-console-producer和connect-file-property 2种方法产生消息,用kafka-console-consumer监控到了新消息
又尝试用kafka-connect-hdfs.property作为sink,结果为在hdfs里创建了topic目录,但是目录为空
还没定位到问题吗
没有定位到问题,准备今天导入confluent,先确定是不是kafka出的问题。心态有点崩··
稳住,逐步排查。
你好,我将log调整为DEBUG后,
DEBUG Group coordinator lookup for group connect-local-file-sink failed: The coordinator is not available. (org.apache.kafka.clients.consumer.internals.AbstracCoordinator:615)
出去开会一周 问题一直没解决 难受,请教一下Log中的内容
好惨,一直刷么 这个debug?
对,一直重复这个系列的DEBUG。google没有找到解决方法,请问你知道如何处理吗?
DEBUG Received GroupCoordinator response ClientResponse(receivedTimeMs=1510513121037, latencyMs=0, disconnected=false, requestHeader={api_key=10,api_version=1,correlation_id=114,client_id=consumer-1}), responseBody=FindCoordinatorResponse(throttleTimeMs=0, errorMessage='null', error=COORDINATOR_NOT_AVAILABLE, node=:-1 (id: -1 rack: null))) for group connect-local-file-sink(org.apache.kafka.clients.consume.internals.AbstactCoordinator:593)
DEBUG Group coordinator lookup for group connect-local-file-sink failed: The coordinator is not available.(org.apache.kafka.clients.consume.internals.AbstactCoordinator:615)
This could mean that the __consumer_offsets topic was not created properly.
在google group中找到了这个答复,然后我发现我的kafka中并没有这个topic,请问是什么原因造成的呢?kafka安装错误?
在新版的kafka中,__consumer_offsets是用来存储消费者offset位置的,默认是自动生成的。当你有消费者消费消息时候,会自动创建
你的答案