我已经使用自制软件在本地mac中安装了pyspark。我可以在/usr/local/Cellar/apache spark/3.2.1下看到spark/但无法查看hadoop文件夹。如果我在终端中运行pyspark，它就是在运行spark shell。我在哪里可以看到它的路径？
我正在尝试将S3连接到pyspark，并且我有依赖jar
您不需要知道Hadoop的位置即可执行此操作。
您应该使用像spark-submit --packages org.apache.hadoop:hadoop-aws:3.3.1 app.py这样的命令，它将提取所有必要的依赖项，而不是在本地下载所有JAR(及其依赖项(。