Apache Beam connection with Kerberos Enabled HDFS Cluster Ja



我正试图从Apache Beam连接到Kerberos启用的HDFS集群,面临问题,想从HDFS文件中读取和写入,有人可以ping一个示例工作代码。附加示例代码片段。使用语言——Java

我使用Kerberos配置仍然得到访问控制异常

我提到了——如何读取hdfs文件到apache beam?

最后它得到了解决,你只需要添加一些属性相关的Kerberos认证和一些Hdfs属性,如核心站点文件位置/Hdfs站点位置/添加Hadoop主路径/添加用户信息传递主体和keytab位置,并通过传递这些配置构建你的beam管道。

另外,如果你在Spark Runner模式下运行beam pipeline,尝试使用Spark - submit命令而不是Java -cp命令参考下面的代码链接如何读取hdfs文件到apache beam?

只要添加Kerberos配置就可以了