如何将kafka收到的消息写入到HDFS中进行统计分析?

曦云 发表于: 2016-09-01   最后更新时间: 2016-09-01 15:51:18   9,755 游览

kakfa生产者生成一些列的文件,文件中包括各种类型的日志文件。 生产者将文件发送到kafka, 请问下 kakfa接收到生产者的日志文件后,如何将文件发送到HDFS上。HDFS同时需要根据日志类型分类存储,最后hive做离线统计分析。screenshot

发表于 2016-09-01
添加评论

你可搜索一下,有很多方式,另外,0.9后的Kafka提供了Connect来导入和导出,详情:https://www.orchome.com/343

曦云 -> 半兽人 7年前

kafka自带的导入导出支持实时导出HDFS的文件文件系统中吗?

主要是看到connnct的实例比较简单,不是到怎么运用到hadoop中。



我这几天尝试第三框架 gobblin还有storm 发现都没有成功。

半兽人 -> 曦云 7年前

我最近会提供一些Connect的例子,你可以先看下。文章提供的是所有的步骤。

曦云 -> 半兽人 7年前

谢谢

具体地址给一下可以么,配置的例子

你的答案

查看kafka相关的其他问题或提一个您自己的问题