如何在 flink 的 readFile 方法中提及 FileInputFormat

Question

我正在使用 flink 从文件中连续读取数据，该文件会定期附加数据。我尝试在 flink 中使用 readFile 方法。但是对如何在此方法的参数中提及FileInputFormat感到困惑。我的文件格式是json。谁能帮我解决这个问题？谢谢

Answer 1

Flink 的 InputFormat 不适合读取并发写入的文件。

鉴于此要求，我假设您正在寻找一种将文件用作流并使用 Flink 的 DataStream API 处理它的方法。在这种情况下，您需要实现一个 SourceFunction，用于跟踪文件的大小和进度并持续读取文件。

但是，我不推荐这种设计。我宁愿定期启动一个新文件，并在完成下一个文件后将其移动到专用文件夹以供使用。