雅典娜分区位置

Question

>我可以使用以下方法查看表上的所有分区

show partitions my_table

我可以使用

describe formatted my_table partition (partition_col='value')

但是我有很多分区，如果可以避免的话，我不想解析describe formatted的输出。

有没有办法在单个查询中获取所有分区及其位置？

Answer 1

没有内置或一致的方法来获取此信息。

假设您知道分区列，则可以通过查询获取此信息，例如

select distinct partition_col, "$path" from my_table

Answer 2

获取表分区位置的最便宜方法是使用 Glue API 的 GetPartitions 调用。它将列出所有分区，它们的值和位置。您可以使用 AWS CLI 工具进行试用，如下所示：

aws glue get-partitions --region us-somewhere-1 --database-name your_database --table-name the_table

像SELECT DISTINCT partition_col, "$path" FROM the_table这样使用 SQL 可能会很昂贵，因为不幸的是 Athena 扫描整个表以生成输出(它可能只是查看表元数据，但该优化似乎尚不存在(。

Answer 3

使用boto3(从版本1.12.9开始(，以下内容返回完整列表：

glue_client = boto3.client("glue")
glue_paginator = glue_client.get_paginator("get_partitions")
pages_iter = glue_paginator.paginate(
    DatabaseName=db_name, TableName=table_name
)
res = []
for page in pages_iter:
    for partition in page["Partitions"]:
        res.append(
            {
                "Values": partition["Values"],
                "Location": partition["StorageDescriptor"]["Location"],
            }
        )