如何在Apache Spark中启用ExecutorAllocationManagerSource指标



关于在Apache Spark中启用通用指标的文档有点单薄:

在实例中,一个"source"指定一组特定的分组度量标准。有两种来源:

Spark内部源,如MasterSource, WorkerSource等,它们将收集Spark组件的内部状态。每个实例都与一个自动添加的Spark源配对。

公共源,如JvmSource,它将收集低级状态。这些可以通过配置选项添加,然后使用反射加载。

所有的例子都是:

master.source.jvm.class=org.apache.spark.metrics.source.JvmSource

然而,没有任何看似合理的变化允许我发布在ExecutorAllocationManagerSource中生成的指标

这个类没有经过单元测试,我找不到任何其他文档或示例。

实际上,这些指标的发布没有针对ExecutorAllocationManagerSource的任何特殊配置。但是,只有当相关的代码路径处于活动状态时,它们才会显示出来。在本例中,这意味着启用动态执行器分配。

我的集群配置错误,没有动态执行器分配。当它被打开时,这些指标在驱动指标下发布,而不需要任何特殊的配置。

相关内容

  • 没有找到相关文章

最新更新