如何修复AWS S3上损坏的delta湖表

Question

我最终手动删除了一些delta湖条目(托管在S3上(。现在我的spark作业失败了，因为delta事务日志指向文件系统中不存在的文件。我偶然发现了这个https://docs.databricks.com/spark/latest/spark-sql/language-manual/delta-fsck.html但我不确定在我的情况下应该如何运行这个实用程序。

Answer 1

根据所附的文档，您可以轻松地做到这一点。

如果你在S3的顶部有蜂箱表：，我已经做了如下操作

%sql
FSCK REPAIR TABLE schema.testtable DRY RUN

使用DRY RUN将列出需要删除的文件。您可以首先运行上述命令并验证实际需要删除的文件。

一旦您验证了您可以在不使用DRY RUN的情况下运行上述实际命令，它应该可以执行您需要的操作。

%sql
FSCK REPAIR TABLE schema.testtable

现在，如果你还没有创建一个配置单元表，并且有一个路径(delta表(，你可以在其中创建文件，那么你可以如下所示：

%sql
FSCK REPAIR TABLE delta.`dbfs:/mnt/S3bucket/tables/testtable` DRY RUN

我在databricks上做这件事，并已将S3存储桶路径安装到databricks。您需要确保在delta之后有`符号并且在实际路径之前，否则它将无法工作。

在这里，为了执行实际的修复操作，您可以从上面的命令中删除DRY RUN，它应该做您需要做的事情。