什么是kafka
Apache Kafka是由Apache软件基金会开发的一个开源消息系统项目,由Scala写成。Kafka最初是由LinkedIn开发,并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。
Kafka是一个分布式的、分区的、多复本的日志提交服务。它通过一种独一无二的设计提供了一个消息系统的功能。
快速
单个kafka服务每秒可以处理数以千计从客户端发来的几百兆字节的读取和写入。
可扩展性
kafka被设计为允许单个集群作为中央数据骨干大型组织。它可以弹性地,透明地扩展,无需停机。
数据流被划分并分布在机器的集群中,允许数据流比任何单一机器的性能大,并让集群来协调消费者。
可靠性
消息被保存在磁盘上,并在集群中复制,防止数据丢失。每个代理可以处理TB级的消息,而不影响性能。
分布式设计
kafka使用现代化的集群为中心设计,并提供了强大的耐用性和容错性保证。