我发现使用Google Cloud shell访问我的Hadoop数据文件系统非常困难(我在Google Cloud Platform上创建了一个集群只是为了学习(。
通用的"hdfs dfs -ls"或">hadoop fs -ls gs://"似乎不起作用，我一直在做很多试验错误来弄清楚如何。 谁能帮我解决这个问题？ 谢谢:)
您可以使用Cloud Storage 连接器，它提供了文件系统抽象的实现，并且有不同的HDP版本，以方便访问GCS，然后您应该能够在Hadoop shell中使用"hadoop fs -ls gs://CONFIGBUCKET/dir/file"。请查看本教程，并确保您已正确配置对 Google Cloud Storage 的访问权限。
通过Hadoop CLI访问HDFS的最简单方法是在Dataproc集群主节点上使用SSH，并在其中使用CLI实用程序：
gcloud compute ssh ${DATAPROC_CLUSTER_NAME}-m
hdfs dfs -ls
hadoop fs -ls gs:/
它在Cloud Shell中不起作用，因为它没有预装Hadoop CLI实用程序。