我正在使用flink从Azure数据湖读取数据。但是 flink 找不到 Azure 数据湖文件系统。如何配置 flink 以了解 Azure 数据湖文件系统。谁能指导我?
Flink 能够连接到任何与 Hadoop 兼容的文件系统(即实现 org.apache.hadoop.fs.FileSystem(。有关解释,请参阅此处:https://ci.apache.org/projects/flink/flink-docs-release-0.8/example_connectors.html
在核心站点.xml中,应添加特定于 ADLS 的配置。无论 Flink 代理运行在哪里,您都需要类路径中的 ADL jar。
它与本博客中概述的概念基本相同,只是适用于 Flink。 https://medium.com/azure-data-lake/connecting-your-own-hadoop-or-spark-to-azure-data-lake-store-93d426d6a5f4