kafka采用connect-file-sink.properity导出数据到txt失败,请问是什么原因造成的?

T0rnad0 发表于: 2017-11-01   最后更新时间: 2017-11-01 14:52:29   3,488 游览

按照 https://www.orchome.com/299 中方法,采用connect-file-sink.properity示例将kafka中的消息导入test.sink.txt,发现test.sink.txt文件创建成功,但没有内容。使用consumer查看topic中消息是存在的,已经从test.txt中读出。请问是什么原因造成的或者可以从哪里去分析查找原因?

发表于 2017-11-01
添加评论

请问这个问题解决了吗?

最后,说一下我的解决的办法:删除zk上面broker节点的数据,重新的启动kafka集群

新造的消息会不会写进去,试下。

T0rnad0 -> 半兽人 7年前

新造的也写不进去,搭了个windows版的试了下没有问题,不知道集群上的哪里设置出问题了

半兽人 -> T0rnad0 7年前

注意细节。。执行个消费者命令,监控主题是否产生了新消息。

T0rnad0 -> 半兽人 7年前

使用kafka-console-producer和connect-file-property 2种方法产生消息,用kafka-console-consumer监控到了新消息

T0rnad0 -> 半兽人 7年前

又尝试用kafka-connect-hdfs.property作为sink,结果为在hdfs里创建了topic目录,但是目录为空

半兽人 -> T0rnad0 7年前

还没定位到问题吗

T0rnad0 -> 半兽人 7年前

没有定位到问题,准备今天导入confluent,先确定是不是kafka出的问题。心态有点崩··

半兽人 -> T0rnad0 7年前

稳住,逐步排查。

T0rnad0 -> 半兽人 7年前

你好,我将log调整为DEBUG后,
DEBUG Group coordinator lookup for group connect-local-file-sink failed: The coordinator is not available. (org.apache.kafka.clients.consumer.internals.AbstracCoordinator:615)

T0rnad0 -> 半兽人 7年前

出去开会一周 问题一直没解决 难受,请教一下Log中的内容

半兽人 -> T0rnad0 7年前

好惨,一直刷么 这个debug?

T0rnad0 -> 半兽人 7年前

对,一直重复这个系列的DEBUG。google没有找到解决方法,请问你知道如何处理吗?


DEBUG Received GroupCoordinator response ClientResponse(receivedTimeMs=1510513121037, latencyMs=0, disconnected=false, requestHeader={api_key=10,api_version=1,correlation_id=114,client_id=consumer-1}), responseBody=FindCoordinatorResponse(throttleTimeMs=0, errorMessage='null', error=COORDINATOR_NOT_AVAILABLE, node=:-1 (id: -1 rack: null))) for group connect-local-file-sink(org.apache.kafka.clients.consume.internals.AbstactCoordinator:593)


DEBUG Group coordinator lookup for group connect-local-file-sink failed: The coordinator is not available.(org.apache.kafka.clients.consume.internals.AbstactCoordinator:615)


T0rnad0 -> 半兽人 7年前

This could mean that the __consumer_offsets topic was not created properly.
在google group中找到了这个答复,然后我发现我的kafka中并没有这个topic,请问是什么原因造成的呢?kafka安装错误?

半兽人 -> T0rnad0 7年前

在新版的kafka中,__consumer_offsets是用来存储消费者offset位置的,默认是自动生成的。当你有消费者消费消息时候,会自动创建

你的答案

查看kafka相关的其他问题或提一个您自己的问题