Flink从Hadoop读取数据并发布到Kafka



我需要从HDFS读取数据并将其发布到Kafka主题。因为它们是数据集和数据流API的一部分,所以有可能在一个作业中完成我想要的任务吗?

Flink的DataStream API可用于读取HDFS文件。请参阅中的readfile()https://ci.apache.org/projects/flink/flink-docs-stable/dev/datastream_api.html#data-来源。或者,您可以将文件系统连接器与表和SQL API一起使用,但它只支持CSV。

相关内容

  • 没有找到相关文章