使用 Apache flink 将数据流同步到 AWS S3

Question

我想知道如何在没有hadoop的情况下使用apache flink（1.0-snapshot）将数据流同步到AWS S3。每个流都有自己的文件名，所以我认为它需要OutputFormat。但是我找不到任何示例或文章。

Answer 1

创建核心站点.xmlhttps://hadoop.apache.org/docs/stable/hadoop-aws/tools/hadoop-aws/index.html

~.addSink(info => {
        val textOutputFormat = new TextOutputFormat[String](new Path("s3://${bucketname}/${file.path}"))
        val configuration = new Configuration()
        // ... config ...
        textOutputFormat.configure(configuration)
        textOutputFormat.open( ... ... )
        textOutputFormat.writeRecord( ... )
        textOutputFormat.close() // must do or not upload tempfile to s3
    })