Spark:如何在特定索引上调试/记录任务



我有一个卡在同一点的过程。我知道的信息是详细信息页面上的任务索引(参考仪表板UI)。

如何在特定索引上确切调试该任务?

基于然后回答:

如何在Spark中获取地图任务的ID?

我可以看到如何获取任务信息。但是,该对象中提到的UI仪表板中的ID是什么?

是id = org.apache.spark.scheduler.taskinfo.id and index = org.apache.spark.schedulertaskinfo.partionid?

仪表板中的ID是指Spark中的分区。每当启动作业时,您的输入数据都会分区并取决于分区的数量,您将其映射到任务ID。

调试降低算法完成数据任务时,请调试起火作业并不是一件琐碎的任务。但是,在事实之后,添加日志来调试工作很容易。这些日志必须在工人或执行者的每个工作目录中收集。

最新更新