将nodejs应用程序记录到kafka主题的最佳方法

Question

目前我的应用程序使用 winston 记录控制台和日志，但我需要将日志发送到 kafka，然后将它们流式传输到 Spark 并将数据写入 cassandra。我遇到了几种不同的方法来解决这个问题：

1. 一种是记录到文件，然后使用文件节拍将日志输出到 kafka
2. 二是从日志中输出数据
3. 还有其他一些解决方案，包括使用 Kafka-logger 包(将数据直接从 Winston 发送到 Kafka(，但我不知道它有多安全，因为 git repo 在 2 年内没有更新。

我希望我提供了足够的问题信息，如果没有，我会编辑我的问题。

Answer 1

有本机JS客户端可用，例如 https://kafka.js.org/

一般来说，你会有一个更愉快的时间直接发送到Kafka，而不涉及平面文件。出错只是更多的移动部分(如果要横向扩展或将执行移动到另一个节点，则会使生活变得更加困难(。

顺便说一句，从卡夫卡获取数据到Cassandra只需使用Kafka Connect:)