如何将kafka收到的消息写入到HDFS中进行统计分析?

kakfa生产者生成一些列的文件,文件中包括各种类型的日志文件。 生产者将文件发送到kafka, 请问下 kakfa接收到生产者的日志文件后,如何将文件发送到HDFS上。HDFS同时需要根据日志类型分类存储,最后hive做离线统计分析。screenshot







发表于: 1年前   最后更新时间: 1年前   游览量:4585
上一条: Kafka ACLs权限设置问题
下一条: kafka 生产者调用MessageChannel.send() 消息发送确认问题

评论…


  • 你可搜索一下,有很多方式,另外,0.9后的Kafka提供了Connect来导入和导出,详情:http://orchome.com/343
    • kafka自带的导入导出支持实时导出HDFS的文件文件系统中吗?
      主要是看到connnct的实例比较简单,不是到怎么运用到hadoop中。

      我这几天尝试第三框架 gobblin还有storm 发现都没有成功。
      • 评论…
        • in this conversation