我一直在大量阅读Spring XD文档,但无法真正掌握我想要实现的与Hadoop YARN相关的两件事。
也许它们还不被支持,或者永远不会被支持——可能是因为我错过了一些东西,这使得我的场景不合理…
- 在Hadoop YARN中,ApplicationMaster可以请求在特定主机上分配容器。"架意识"。这允许在靠近HDFS上存储数据的位置执行处理。
这种功能可以在流部署清单中作为评估属性公开吗?
请注意,我不是在谈论分区流,其中相同的容器为流中的所有模块处理相同的消息。
我想在流的中间有一个模块的许多实例部署在一组容器上——这些容器也可以通过保存我已经存在的大型静态数据的片段。我希望根据评估规则为每个调用选择最合适的模块实例,该规则涉及将正在处理的每个消息映射到存储在其中一个容器上的关联的预先存在的大文件。
- 是否有可能在部署流后动态地"扩展"一个模块在多个容器中的部署?例如,如果流中的一个模块被证明是一个瓶颈,一旦流被部署,该模块的实例数量可以在更多的容器中动态增加吗?
谢谢尼克
是否有可能在部署流后动态地"扩展"一个模块在多个容器中的部署?例如,如果流中的一个模块被证明是一个瓶颈,一旦流被部署,该模块的实例数量可以在更多的容器中动态增加吗?
直接绑定模块会对你的情况有所帮助。直接绑定允许流的模块在同一个容器上共存,并为加入集群的每个容器提供这些共存模块的动态部署。你可以在这里找到更多信息