最近在做个实时日志分析的系统，起初方案是filebeat->kafka->flink，计划使用kafkaStream进行一次过滤后再由flink程序处理是否可行?

— 坏小孩 发表于: 2021-03-19 最后更新时间: 2021-03-19 15:42:50 1,687 游览

kafka

发表于 2021-03-19

— 坏小孩

有了kafkaStream，那flink的功能是不是重复了？

回答于 3年前

半兽人

— 坏小孩 -> 半兽人 3年前

可能是我没表达清楚，因为之前使用的方案flink性能达到瓶颈就采用了filebeat->kafka->java程序过滤->kafka(新topic)->flink的模式，我考虑的是中间java程序这里换成kafka-stream会不会提高点效率，您看这可行吗？

— 坏小孩 -> — 坏小孩 3年前

原先java程序使用的简单的消费者->生产者模式

半兽人 -> — 坏小孩 3年前

其实kakfa的stream，底层也是基于消费者->生产者的...
理论上不会有太大改善，你只能通过分区数来提供并发处理的能力，提升效率。

— 坏小孩 -> 半兽人 3年前

好的谢谢

没有做过这样的逻辑, 但应该是可行的, 很好奇flink达到性能瓶颈的原因是啥?

回答于 3年前

Sherlock

查看kafka相关的其他问题或提一个您自己的问题。

提问