Kafka Connect的用法

半兽人 发表于: 2016-08-17   最后更新时间: 2016-10-27  
  •   53 订阅,2257 游览

8. Kafka Connect

8.1 概述

Kafka Connect 是一个可扩展、可靠的在Kafka和其他系统之间流传输的数据工具。它可以通过connectors(连接器)简单、快速的将大集合数据导入和导出kafka。Kafka Connect可以接收整个数据库或收集来自所有的应用程序的消息到Kafka Topic。使这些数据可用于低延迟流处理。导出可以把topic的数据发送到secondary storage(辅助存储也叫二级存储)也可以发送到查询系统或批处理系统做离线分析。Kafka Connect功能包括:

  • Kafka连接器通用框架:Kafka Connect 规范了kafka与其他数据系统集成,简化了connector的开发、部署和管理。

  • 分布式和单机模式 - 扩展到大型支持整个organization的集中管理服务,也可缩小到开发,测试和小规模生产部署。

  • REST 接口 - 通过REST API来提交(和管理)connector到Kafka Connect集群。

  • 自动的offset管理 - 从connector获取少量的信息,Kafka Connect来管理offset的提交,所以connector的开发者不需要担心这个容易出错的部分。

  • 分布式和默认扩展 - Kafka Connect建立在现有的组管理协议上。更多的工作可以添加扩展到Kafka Connect集群。

  • 流/批量集成 - 利用kafka现有的能力,Kafka Connect是一个桥接流和批量数据系统的理想解决方案。







发表于: 7月前   最后更新时间: 4月前   游览量:2257
上一条: ZooKeeper认证【kafka】
下一条: Kafka Connect用户指南
评论…

  • 评论…
    • in this conversation
      提问