Spark 自定义估计器访问参数[T].

Question

我正在为火花构建一个自定义估计器。不幸的是，我访问估计器的默认参数的方式似乎有问题Param[T]。下面是一个将Transformer与Estimator进行比较的最小示例。有权访问相同参数的估算器

trait PreprocessingParam2s extends Params {
final val isInList = new Param[Array[String]](this, "isInList", "list of isInList items")
}

被称为像

new ExampleEstimator().setIsInList(Array("def", "ABC")).fit(dates).transform(dates).show

为了执行

dataset
.withColumn("isInList", when('ISO isin ($(isInList): _*), 1).otherwise(0))

但与工作正常的Transformer不同，Estimator失败了java.util.NoSuchElementException: Failed to find a default value for isInList

https://gist.github.com/geoHeil/218683c6b0f91bc76f71cb652cd746b8 或 https://github.com/geoHeil/sparkEstimatorProblem(包括build.sbt文件，以便更轻松地重现问题)

这是怎么回事？

编辑

我正在使用火花 2.0.2。

正如@t-gawęda指出的那样，在设置默认参数时可以修复错误。但这不应该是必要的，因为我称之为新ExampleEstimator().setIsInList(Array("def", "ABC")).那么为什么没有设置参数呢？

如果我设置默认参数，它们将用作后备。但这不是我想要实现的语义。而不是正确的输出(Transformer)

+----------+---+--------+
|     dates|ISO|isInList|
+----------+---+--------+
|2016-01-01|ABC|       1|
|2016-01-02|ABC|       1|
|2016-01-03|POL|       0|
|2016-01-04|ABC|       1|
|2016-01-05|POL|       0|
|2016-01-06|ABC|       1|
|2016-01-07|POL|       0|
|2016-01-08|ABC|       1|
|2016-01-09|def|       1|
|2016-01-10|ABC|       1|
+----------+---+--------+
+--------+                                                                      
|isInList|
+--------+
|       1|
|       0|
+--------+

我得到

+----------+---+--------+
|     dates|ISO|isInList|
+----------+---+--------+
|2016-01-01|ABC|       0|
|2016-01-02|ABC|       0|
|2016-01-03|POL|       0|
|2016-01-04|ABC|       0|
|2016-01-05|POL|       0|
|2016-01-06|ABC|       0|
|2016-01-07|POL|       0|
|2016-01-08|ABC|       0|
|2016-01-09|def|       0|
|2016-01-10|ABC|       0|
+----------+---+--------+
+--------+
|isInList|
+--------+
|       0|
+--------+

显然是错误的，例如仅使用了默认参数。我的存储参数的方法有什么问题？ 请参阅设置默认参数的工作示例 https://github.com/geoHeil/sparkEstimatorProblem。

Answer 1

尝试在参数中添加 getter 和 setDefault：

trait PreprocessingParam2s extends Params {
final val isInList = new Param[Array[String]](this, "isInList", "list of isInList items")
setDefault(isInList, /* here put default value */)
/** @group getParam */
final def getIsInList: Array[String] = $(isInList)
}

为什么？

看看参数映射是如何创建的：

lazy val params: Array[Param[_]] = {
val methods = this.getClass.getMethods
methods.filter { m =>
Modifier.isPublic(m.getModifiers) &&
classOf[Param[_]].isAssignableFrom(m.getReturnType) &&
m.getParameterTypes.isEmpty
}.sortBy(_.getName)
.map(m => m.invoke(this).asInstanceOf[Param[_]])
}

Spark 扫描类中的所有方法并使用以下命令搜索方法：

• 公共修饰符
• 无参数
• 有返回类型是参数的子类型

Spark 启动这些方法并将值放入参数映射中。当你读取参数值时，Spark会查看这个映射，而不是执行getter

完整代码在这里 说明：在模型中，您必须具有：

def setIsInList(value : Array[String]): this.type = {
set(isInList, value)
this
}

和估算器的拟合方法：

override def fit(dataset: Dataset[_]): ExampleTransModel = new ExampleTransModel(uid, 1.0).setIsInList($(this.isInList))

创建模型后，您没有将参数值复制到模型对象 - 这就是为什么在评估模型时它总是为空的原因