火花流 - 呼叫REST API与构建功能本地用于火花流



我们有一个特定的功能来管理时间表数据。该功能率已经以REST API的形式提供,并且在CloudFoundry上运行。我们希望使用Spark Streaming和Kafka提供对摄入的时间表数据的支持,以使解决方案更可扩展和稳健。从Spark Streaming Intead在Spark中构建功能的功能是什么。

我会争辩说,如果您的REST API可以支持Spark流的吞吐量,则REST API可以直接支持吞吐量。在这种情况下,您实际上根本不需要火花流。如果您需要的是用于意外尖峰的缓冲区,那么有一些比火花流的方法更简单。

要更直接地解决您的问题,将REST API称为Spark Streaming Pipeline添加延迟和其他故障情况。在Spark流中实现逻辑直接添加代码复杂性和可能的重复。这两个选项都添加了操作复杂性。

最新更新