Flink batch ReadCSV - zip file



我正在基于https://github.com/dataartisans/flink-training-eccises/blob/master/src/src/main/java/java/com/com/dataartisans/flinktraining/flinktraining/dataset_java/dataset_java/mail_count/mail_count/mailcount/mailcount.java 以下代码中,输入必须为.csv,否则我会出现错误。我尝试了一个带有CSV的.ZIP文件。在MailCount.java中,我看到ReadCSVfile接受.gz文件作为输入,并且正常工作。你能帮忙吗?

env.Readcsvfile(输入) .ignoreFirstline() .includefields(字段) .types(string.class,string.class);

谢谢Aruna

flink如果文件具有适当的扩展名,则支持包装盒的读取压缩文件。但是,并非所有类型的压缩都得到支持。您可以在[1]中找到受支持的压缩类型的列表。

例如,支持.gz,这就是示例有效的原因,但是.zip却没有,所以您会遇到错误。

最好的问候,Konstantin

[1] https://ci.apache.org/projects/flink/flink/flink/flink-docs-release-1.2/dev/batch/index.html#read-compressed-files

相关内容

  • 没有找到相关文章

最新更新