我需要从HDFS读取数据并将其发布到Kafka主题。因为它们是数据集和数据流API的一部分,所以有可能在一个作业中完成我想要的任务吗?
Flink的DataStream API可用于读取HDFS文件。请参阅中的readfile()
https://ci.apache.org/projects/flink/flink-docs-stable/dev/datastream_api.html#data-来源。或者,您可以将文件系统连接器与表和SQL API一起使用,但它只支持CSV。