我们是否可以安排一个 AWS Glue 作业来执行 MSCK 修复命令,以便将新添加分区的元数据添加到 Glue 目录中?
Glue ETL 脚本可以在不调用 Athena 的情况下执行 MSCK REPAIR TABLE 命令吗?
这是
通过Glue Crawlers实现的。如果您创建爬网程序,它将根据新字段更新表并添加新分区。
你可以调用 batch_create_partition(( API 来做到这一点。它不需要昂贵的操作,如 MSCK 修复表或重新爬网。以下是我与代码示例的详细答案 -
https://stackoverflow.com/a/52239022/2414855