冰山GCS和一致性



冰山是否支持将数据写入GCS?因为冰山的原子性要根据https://iceberg.apache.org/java-api-quickstart/工作,所以GCS应该支持原子重命名,但是从https://cloud.google.com/storage/docs/gsutil/commands/mv开始的GCS重命名不是原子的。如果冰山不支持GCS,那么有什么解决方法来处理原子性

Hadoop表实现是唯一使用rename的地方,并且它需要一个支持原子重命名的文件系统。如果你在用对象存储,如S3或GCS,那么您应该使用HMS实现或自定义目录代替Hadoop表。

"表不需要重命名,除了使用原子重命名的表实现对新元数据文件的提交操作。">

据我所知,一切都应该与GCS一起工作,而不需要修改。

在GCS中没有原生原子重命名,它需要移动+删除。您可以参考https://iceberg.apache.org/spec/#mvcc-and-optimistic-concurrency页面。

来源:http://mail-archives.apache.org/mod_mbox/iceberg-dev/201909.mbox/%3cCAO4re1kFEbVyfZJFiq=CfUDhB7opfT-ntwF7 + 7 _oft = Kwjk0XQ@mail.gmail.com % 3 e

相关内容

  • 没有找到相关文章

最新更新