获取特定范围的AWS Glue中的分区数

Question

我想列出给定表的所有分区并对其进行计数，但是aws glue get-partitions --database-name ...返回关于每个分区的详细信息，这在这种情况下不是很有用。

假设我的表由input_data_date和country分区，我想知道一天有多少分区。

我可以用这个做点什么

aws glue get-partitions --database-name MYDB --table-name MYTABLE --expression "input_data_date = '2021-07-09' "

但它需要一些脚本，我只是通过AWS CLI或。。。。

Answer 1

AWS CLI使用JMESPATH，它有一个length()函数。因此，您可以使用：

aws glue get-partitions --database-name xx --table-name xx --query 'length(Partitions[])'

这将返回分区总数。

如果你想做一些更具体的事情("我一天有多少分区"(，你可能需要使用更好的SDK(例如Python和boto3(来处理信息。