使用spakeoptimizer进行自定义优化

Question

我正在尝试将一些自定义优化的逻辑计划插入SparkOptimizer，并检查它们是否被执行。

我有一个扩展ruleexecutor的对象：xyz.scala在/spark/sql/sql/catalyst/abc中，带有自定义批次的" val批次"，如下所示：

Object xyz extends RuleExecutor{
val batches = Batch (custom rule1):: Batch(custom rule2) :: Batch(custom rule3) :: Nil
}

我希望当我提交示例申请spark时反映这些规则。我阅读了有关exeriment.extraoptimization的信息，但我不确定在这种情况下如何实现它。

Answer 1

我弄清楚了。v 2.2的新实验方法。就我而言，我必须将所有自定义批次包括在优化器中。因此，规则与本机规则进行了批处理。