如何在Flink中读取.bsq文件

Question

正确设置我的项目后，我需要读取/导入几个.bsq文件到我的环境中。我尝试像这样使用env.readFile()方法:

DataSet<T> data = env.readFile(*insertFileInputFormatHere*, filePath);

但我不能得到一个适当的FileInputFormat。因为它是抽象的，所以我不能有我自己的实例。我应该扩展abstract class FileInputFormat并使用我自己的扩展来实例化FileInputFormat吗?还是有其他我不认识的方式?

Answer 1

似乎.bsq文件是一个二进制格式，没有Flink或Hadoop InputFormat存在(我包括Hadoop InputFormat，因为Flink也支持Hadoop if)

所以你必须实现自己的InputFormat来读取文件。我建议从Flink的org.apache.flink.api.common.io.FileInputFormat扩展您自己的InputFormat。

要使用自己的输入格式，您必须像

那样调用它

final ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
env.createInput(new MyInputFormat());