使用Athena查询最新快照分区

Question

我有一个分区表，其中包含来自glue的每日快照。当我使用athena进行查询时，它会跨所有分区进行查询。有没有办法让雅典娜自动只获取最新的快照？或者，如果我想避免在所有快照中进行查询，我是否必须明确说明要查询哪个分区？

Answer 1

如果已将表创建为Hudi表，则可以使用Athena运行快照查询。有关更多信息，请参阅此链接。

如果表是直接在Glue目录中创建的，则必须明确提及要查询的分区。如果你有一个有大量分区的表，那么尝试分区投影，这在这个链接中有很好的解释。