Flink kafka 不能正常消费

沉默不语 发表于: 2019-07-18   最后更新时间: 2020-03-11 00:10:08   5,968 游览

Flink 版本 1.6.3
kafka 版本 0.10

2019-07-18 10:13:51,908 WARN  org.apache.flink.streaming.connectors.kafka.internal.Kafka09Fetcher  - Committing offsets to Kafka takes longer than the checkpoint interval. Skipping commit of previous offsets because newer complete checkpoint offsets are available. This does not compromise Flink's checkpoint integrity.

kafka 原来安装过,后卸载后再运行就出现此问题,flink输出该警告后不能消费数据

发表于 2019-07-18
添加评论

请问解决了么?我的情况是:一个服务器上有kafka集群,一直在生产数据,消费数据的程序在另一个服务器,但是一直消费不到,两个服务器能ping通,用的flink消费,端口也能telnet通

请问解决了么?我也遇到相同问题,无法解决

向Kafka提交offset时间长于检查点间隔。 就跳过提交先前的offset,因为可以使用较新的完整检查点offset,警告可以忽视,不会影响Flink的检查点完整性。
如果持续报你可以打开debug查看具体原因,一般网络问题多一点。

你这看是kafka没清理干净

能详细说下么?flink无法消费到kafka中的数据

你的答案

查看kafka相关的其他问题或提一个您自己的问题