Kafka connect 如何确保消息发送成功和顺序的?

一如乞人不需要形象 发表于: 2020-06-17   最后更新时间: 2020-06-17 11:55:52   2,740 游览

大佬我又来请教你了。。

  1. kafka会每次poll,都会调用 conenctor 里的task类来拉去数据到指定topic,他是如何保证10条数据都会提交到指定topic的?就是中间会不会有一两条丢失?
  2. kafka 调用task poll的时间可以设置吗?

谢谢大佬

发表于 2020-06-17
添加评论

1、task=消费者,每个消费着消费1个或多个topic的分区,同步到你指定的topic中,中途如果是强杀,非正常关闭,会丢消息。
2、时间不要调整,没有用,这个poll时间是指,当topic分区中,没有消息了,多长时间去拉一次的间隔时间,如果持续有消息,就不会有间隔,将持续拉取。

我表述错了,我是指kafka 连接器里task类的poll, 不是需要return一个List,每次kafka 会都会调用poll来拉去源数据到指定topic,是如何保证中间没有丢失的? 以及poll的间隔?

既然提到消费者里的poll, poll(duration)里跟的时间参数,是用于最多duration时间内返回结果吧?

你的答案

查看kafka相关的其他问题或提一个您自己的问题