我有许多包含s3文件元数据信息的AWS Glue目录表。我已经使用glue crawler创建了目录表。
这里的问题是-我有许多s3位置(让我们说许多上游文件)。当我抓取不同的s3位置时，会生成不同的数据目录表。假设，如果我有10个不同的s3位置使用diff模式，那么将生成10个diff. catalog表。
我希望在1个表中获得所有表(10个表)元数据信息，以便我可以一次获得s3位置，列名，表名，记录计数，数据类型。我计划创建quicksight可视化来呈现所有10个文件的这些元数据信息。
有办法做到这一点吗?对不起，如果这是一个太基本的问题，因为我是新的aws世界
@BigD我认为今天不可能。爬虫程序为每个数据源生成一个新表。即使我希望AWS Glue能把所有这些数据放到一个"表"中，但是，我认为目前的功能只能创建单独的表。