文件保持 .pending 状态，而 flink bucketingsink 作业使用保存点取消

Question

我们使用 BucketingSink 将压缩文件(用 "" 分隔(写入 hdfs。但是，一旦我们手动取消作业，文件的最后一行将被截断。如果我们使用 savepoint 取消作业，一切正常，但文件仍处于 .pending 状态。如何使这些文件完成重命名？谢谢！

Answer 1

如果 .pending 文件在检查点列表中，你只需要重新启动作业，那么 .pending 将被重命名为要提交的最终名称。如果 .pending 文件不在检查点列表中，也就是说，可以丢弃 .pending 文件，flink 不会对它做任何事情，忽略它们是个好主意。

尝试阅读这篇博文，然后阅读 BucketingSink 的源代码，您将知道为什么以及如何这样做。