我有一个当前的管道，在那里我对数据帧进行了几次转换
插入检查点以确保可接受的执行时间非常重要。
然而，我不时从任何检查点得到这个错误：
Job aborted due to stage failure: Task creation failed: java.io.FileNotFoundException
No such file or directory: /checkpoints/...../rdd-1002/part-00003
你能提出建议吗。
这与这个问题类似吗？当一个失败的进程试图恢复时，一个复杂的逻辑正在覆盖RDD。
执行程序失败后，Spark无法在HDFS中找到检查点数据