用Ceph倾斜为持续存储



flink文件表明,CEPH可以用作状态的持续存储。https://ci.apache.org/projects/flink/flink/flink-docs-rease-1.3/dev/stream/checkpointing.html

考虑到CEPH是一个交易数据库,它不会对Flink的性能产生不利影响吗?

ceph将自己描述为"统一,分布式存储系统" ,并提供网络文件系统API。因此,这种情况应该与Flink的状态后端无缝配合,该状态后端将检查站持续到远程文件系统。

我不知道人们使用CEPH(HDFS和S3更常用),也没有有关性能的信息。但是,请注意,Flink能够异步编写检查点,因此存储系统的性能不会影响Flink应用程序的处理速度。但是,它可能会约束在其中采用检查点的间隔。

更新:(2018年2月)我注意到,在Flink的用户邮件列表上报告了多个用户,他们正在使用flink。

更新2:Flink与S3协议正常工作,并且(Presto& Hadoop)Flink的S3文件系统插件都可以正常工作。

相关内容

  • 没有找到相关文章

最新更新