我在纱线上的2.3.0群集上运行pyspark作业。我看到所有阶段都有很长的计划延迟。但是 - 这仅仅是最大时间，第75位peentile是28ms。其他所有时间度量都非常低(GC时间，任务愿望等(几乎没有混音写作尺寸。局部性大多是节点local，Process Local和Rack Local之间的变化。这么长的时间表延迟时间是什么原因？是纱还是只是缺少运行任务的资源？增加/减少分区是否有助于此问题？
如果有人有同样的问题，请回答我自己的问题 - 似乎与导致延迟的偏斜数据有关。这是由于使用凝聚而不是对数据的重新分配而引起的，这将数据分配不均。最重要的是，我还在分区后也缓存了数据框架，因此处理后的运行(process_local(而不是node_local和rack_locak。