有多少类型的HDFS集群,使用Python连接到HDFS集群的最佳方式是什么



我认为这个标题很好地总结了我的需求,如果有人能发布有多少类型的HDFS集群(Kerberos等(,以及哪个是最好的库,用于使用python向每种类型的集群connect

谢谢

Apache Hadoop项目只分发了一种类型的HDFS。有几种Hadoop兼容的文件系统,如AmazonS3或GlusterFS。

Kerberos是一种授权系统,而不是Hadoop文件系统的一种类型。

如果你想从Python获得健壮的Hadoop通信,Pyspark将是理想的选择,否则你可以使用其他几个Python库与WebHDFSAPI接口,这些库可以通过简单的搜索找到