如何在火花中提取参数映射的值

Question

我正在使用管道和交叉验证器来使用 Scala 在 Spark 中进行一些参数调整。我得到了一个包含最佳参数集的ParamMap，但是我不知道如何从此 ParamMap 中提取值。假设我的 ParamMap 称为 params，这是我尝试的：

params(new Param(????, "maxDepth", "description")

但是Param的第一个参数必须是 Identifiable 型，我不知道要传递什么。 有什么帮助吗？

Answer 1

您可以先检查 ParamMap 中的所有值：

params.toSeq.foreach(pair => {
  println(s"${pair.param.parent} ${pair.param.name} ${pair.param.doc}")
  println(pair.value)
})

然后只检索一个值：

params(new Param(parent, name, doc))

实际上父级可以是字符串(不是强制性的可识别(