平丈

0 声望

这家伙太懒,什么都没留下

个人动态
  • 半兽人 回复 平丈如何用kafka connect做分布式日志收集? 中 :

    你自己实现的话,就得实现相关的逻辑的。

    6年前
  • 平丈 回复 平丈如何用kafka connect做分布式日志收集? 中 :

    过滤的问题我已经解决了,主要是怎么监听 按天滚动的日志文件,使能从正确位置读到最新的消息

    6年前
  • 平丈 回复 半兽人如何用kafka connect做分布式日志收集? 中 :

    之前的方案是用flume来做过滤,但是现在的考虑是去掉多余的技术栈,想用kafka直接实现,有scala/java的例子吗?
    ```shell

    import scala.sys.process._

    def someProcessing(line: String): Unit = {
      // do whatever you want with that line
      print("[just read this line] ")
      println(line)
    }

    // the file to read
    val file = "mylogfile.txt"

    // the process to start
    val tail = Seq("tail", "-f", file)

    // continuously read lines from tail -f
    tail.lineStream.foreach(someProcessing) 
    // careful: this never returns (unless tail is externally killed)
    ````

    这是我在stackoverflow上看到的,但是这个不能被打断恢复。

    6年前
  • 订阅了 kafka 主题! · 6年前