Spark广播一个在编译时已知的值

Question

我正在运行一个Spark作业，我有一个对象常量，其中包含我在程序中使用的所有常量值。

作为一个例子，让我们假设我们有以下对象:

 object Constants{
   ...
   val aSet=Set[String]("foo","bar","etc",...}
   ...
 }

是否值得向节点广播aSet值，或者它是否已经可用，因为它是代码的一部分，并且在编译时已知?

Answer 1

我的理解是每个worker都可以访问该对象。这里有些相关的讨论。