kafka sqlserver connector 同步数据,怎么从启用连接器的那一刻开时监听吗?

月舞花弄影 发表于: 2023-02-08   最后更新时间: 2023-02-08 10:57:38   1,014 游览

kafka配置sqlserver连接器,会监听到表中所有数据,以op:r的类型存入kafka(现有一个表有20w数据),可以配置从启用连接器的那一刻开时监听吗?

{
    "name": "sqlserver-cdc-source",
    "config": {
        "connector.class": "io.debezium.connector.sqlserver.SqlServerConnector",
        "database.hostname": "xxx.com",
        "database.server.name": "xxx",
        "database.port": "1433",
        "database.user": "user",
        "database.password": "password",
        "database.dbname": "dbname",
        "table.whitelist": "dbo.table",
        "schemas.enable": "false",
        "mode": "incrementing",
        "incrementing.column.name": "id",
        "database.history.kafka.bootstrap.servers": "172.28.153.222:9092",
        "database.history.kafka.topic": "YwHddzCdc",
        "value.converter.schemas.enable": "false",
        "value.converter": "org.apache.kafka.connect.json.JsonConverter"
    }
}
发表于 2023-02-08
添加评论

connect-distributed.properties中, 你可以通过:

  • consumer.auto.offset.reset=earliest 启动Connect实例从最早读取所有数据。
  • consumer.auto.offset.reset=latest 启动Connect实例从最新读取。

来设置你的读取方式。

月舞花弄影 -> 小蕊 1年前

好的,谢谢。我试一下

你的答案

查看kafka相关的其他问题或提一个您自己的问题