如何在每次将新文件添加到目录时触发 Kafka 生产者



我有一个Kafka流制作器(在scala中(,它从目录中的所有文件中提取数据,并将其内容发布到主题中。然后,该内容由消费者处理。

现在我正在通过 shell 手动执行生产者和消费者(都在 scala 中(,但是我怎样才能触发 Kafka 生产者和消费者在每次将文件添加到生产者从中检索文件的目录时自动执行?任何帮助将不胜感激!

最好使用 Kafka

Connect API,它是 Apache Kafka 的一部分。 Kafka-connect-spooldir 是一个连接器,它将监视文件夹并将任何新文件摄取到 Kafka 主题中,然后如果需要,您可以从中对其进行进一步处理。

最新更新