发现使用 spring 云数据流部署在 YARN 中的 http 应用程序的虚拟化 URL

Question

我成功地将一个流部署到使用 SCDF 创建的 YARN 中，看起来像 --stream create --name httpTest--definition "http --server.port=9001|....

我能够使用 clustermodify 将 http 源应用程序扩展到多个实例。SCDF 是否在 YARN 注册表中的某个位置写入虚拟化/静态/代理 URL(请参阅此处(，以便上游应用程序可以绑定到？Yarn 之外的另一个应用程序如何发布到端口 9001 也水平扩展的 http 服务器之上？

如果我在 docker-swarm 中部署一个 Spring boot Web 应用程序并对其进行扩展，docker swarm 会设法在所有应用程序之间分配负载。在YARN和SCDF的情况下，它是如何发生的？

当我在数据流外壳中调用以下内容时 - 它也失败了。

http post --target http://localhost:9001 --data empty

错误信息：

Failed to access http endpoint http://localhost:9001

用主机名/IP地址替换本地主机的所有其他变体也失败了？

Answer 1

我正在回答我自己的问题。

替代设计 - 使用 Kafka 目标而不是 HTTP 源，因为 HTTP 源的 URL 一旦部署在 yarn 容器中就不能保证是唯一的( -- 可以发布到消费应用程序。 或者，我们需要修补OOTB HTTP Source应用程序，以使用Spring的Eureka服务器实现注册自身(在启动时(，并使用网关作为智能代理。