AWS Glue Catalog 作业上的 MSCK 修复命令



我们是否可以安排一个 AWS Glue 作业来执行 MSCK 修复命令,以便将新添加分区的元数据添加到 Glue 目录中?

Glue ETL 脚本可以在不调用 Athena 的情况下执行 MSCK REPAIR TABLE 命令吗?

这是

通过Glue Crawlers实现的。如果您创建爬网程序,它将根据新字段更新表并添加新分区。

你可以调用 batch_create_partition(( API 来做到这一点。它不需要昂贵的操作,如 MSCK 修复表或重新爬网。以下是我与代码示例的详细答案 -

https://stackoverflow.com/a/52239022/2414855

最新更新