如何在输出方法中在数据集中生成动态路径

Question

有没有办法在flink中创建动态数据链接输出路径？

数据集的数据类型为Tuple2<String, String>

当我们尝试使用流时，我有一种使用自定义扣子产生动态浴的方法，如

@Override
    public Path getBucketPath(Clock clock, Path basePath, Tuple2<String, String> element) {
        return new Path(basePath + "/schema=" + element.f0.toLowerCase().trim() + "/");
    }

我想知道是否有类似的方法可以在数据集中处理自定义路径。

Answer 1

我有点戳了一下，没有找到批处理处理的东西。这意味着我认为您必须创建自己的OutputFormat类，该类包装常规FileOutputFormat并使用相同的扣子接口进行铲斗。