为什么 Spark UI 在“作业”选项卡下的 DAG 中只显示“操作”，而不显示“转换”

Question

我有一个简单的程序 -

lines =sc.parallelize(['a','b','c','d'])
lines.map(myfunct1).flatMap(flatmapfunc).map(myfunct2).collect()

当我在 Spark 中提交此程序并在"作业"选项卡下查看 DAG 时，我只能看到并行化和收集操作，而不能看到地图和平面图。

截图

关于为什么我无法在 DAG 中看到任何转换的任何想法？

Answer 1

Spark

UI不能很好地支持Python RDD。你可以改用 Python DataFrame s。