如何使用pyspark访问jupyter笔记本中azure数据湖中的delta表

Question

spark.read.format("delta").load("/tmp/delta/people10m")

如何给正确的路径adls delta文件夹?

spark.read.format("delta").load("/tmp/delta/people10m")

尝试以上命令，但不工作

Answer 1

如果您指的是直接访问ADLS，那么您需要提供一个完整的路径，如abfss://<container>@<storage-acct>.dfs.core.windows.net/<path>-只需遵循有关它的文档(有不同的身份验证选项可用，因此选择适合您的)。