使用 Apache Kafka 作为 FTP 的替代品



我是开源技术的新手。我只想知道我们是否可以使用 Apache Kafka 作为常规 FTP 的替代方案,我们将文件保存在最终用户访问它们的某个位置。我的文件来源主要是SAP HANA。我想从哪里将文件推送到 Kafka,最终用户可以从那里使用它。有人可以建议从哪里开始或列出实现这一目标的步骤吗?

Kafka 不是 1:1 的替代品,不。

你能使用Apache Kafka在系统之间以比FTP更具可扩展性和更不脆弱的方式进行流数据集成吗?确定。你能把一个换成另一个吗?不。

查看这些资源,以了解有关 Kafka 可用于什么以及如何使用它的更多信息:

  • http://go.rmoff.net/devoxx18-embrace-the-anarchy
  • http://go.rmoff.net/devoxx18-build-streaming-pipeline
  • http://rmoff.dev/ksny19-no-more-silos

Kafka 通常不适用于文件等大型数据。我想你会想对这些文件做一些操作。您可以做的方法是将对这些文件的引用传递给 Kafka 主题,并让您的使用者使用这些引用从这些文件读取数据。

我不知道SAP Hana。但您可能对以下内容感兴趣SAP Hana Connector for Kafka

最新更新