如何在火花外壳中启用或获取跟踪网址?

Question

当我给 spark-shell 或 Spark-shell --master yarn 时，我在控制台上找不到跟踪 Url。

假设我已经更改了执行程序和执行程序内存的数量，我想使用跟踪URL验证这些更改。

如果我知道如何获取此跟踪网址，将会很有帮助

Answer 1

你可以以编程方式获取SparkUI URL：

val url = spark.sparkContext.uiWebUrl

Answer 2

如果你使用的是纱线，

1. 转到 CM 中的纱线应用。
2. 你会发现你的火花壳列出。点击您的应用程序
3. 您将找到一个跟踪URL：应用程序大师这是您要查找的URL。 让我知道这是否回答了您的查询。