Apache Iceberg在红移光谱上,是可能的吗?



我在这里https://aws.amazon.com/about-aws/whats-new/2020/09/amazon-redshift-spectrum-adds-support-for-querying-open-source-apache-hudi-and-delta-lake/看到红移光谱支持Hudi和Delta。我们现在正在使用Iceberg作为文件格式,并且我们需要为BI团队读取一些红移光谱的外部表。我已经创建了一个外部模式和一个外部表,但是当我试图读取表时,红移光谱给我更多的数据,然后我们应该。我们是基于主键的数据,所以在红移光谱中发生的事情是,我尝试的方式是它返回给我相同id的所有记录,而不是只返回给我最新版本的记录(比如按id划分的分区)——想知道是否有人尝试过成功地将冰山与AWS红移光谱集成在一起?

现在AWS支持通过红移光谱查询Iceberg:https://aws.amazon.com/about-aws/whats-new/2023/07/amazon-redshift-querying-apache-iceberg-tables/

相关内容

  • 没有找到相关文章

最新更新