是否可以在Spark中为特定任务选择一个特定的工人



实际需求就像我拥有的设备仅通过特定的机器访问,因此可以分配一个任务,该任务涉及到该设备所在的工人的特定设备的通信可访问?

假设有大师和工人的火花集群。工人是可以访问特定设备的机器,主人无法访问这些设备。

我经历了文档,并知道通过使用Mesos cluster Manager,但找不到一些描述的东西,这是可以做到的,这将不胜感激。

spark.mesos.constraints - 基于属性的Mesos资源提供的约束。默认情况下,所有资源优惠都将被接受。此设置仅适用于执行者。请参阅Mesos属性&有关属性的更多信息的资源。 标量约束与"小于相等"的语义匹配,即约束中的值必须小于或等于资源报价中的值。 范围约束与"包含"语义的语义匹配,即约束中的值必须在资源报价的值之内。 集合约束与"语义"的"子集"匹配,即约束中的值必须是资源报价值的子集。 文本约束与"平等"语义匹配,即约束中的值必须完全等于资源报价的值。 如果没有一个值作为约束的一部分,则将接受任何要属性的要约的一部分(没有值检查(。

最新更新