与2个不同的S3端点连接



我在flink集群中定义了一个s3端点,然后用于s3[a/p]://文件系统。该文件系统用于检查点和使用Filesink(使用BulkFormatBuilder创建)下沉。然后在集群配置yaml中定义路径,如s3p://bckt/savepoints。但是,我想为检查点和下沉定义一个不同的S3端点。这可能吗?为不同的端点使用两种相同的文件系统类型,或者为检查点或FileSink覆盖端点。

我可以考虑用WindowFunction代替FileSink,这将在覆盖的进程函数中将大量窗口数据写入文件。或者以某种方式重写filesink,以便它将文件系统作为参数,我将更详细地了解这一点。

我只使用数据流API。

请参阅Flink Amazon S3文档。您应该能够将s3a://<data path>用于数据接收器,将s3p://<checkpointing path>用于检查点。

最新更新