带有数据库表列列表的新列

Question

我有一个DataFrame，其中有一列包含Databricks:数据库中的所有表名

%sql显示来自默认的表格

tableName
表1
表2
表3

使用一个Spark调用无法实现这一点，但您可以在Python中循环遍历表并逐个收集列信息。

tables = [row["tableName"] for row in spark.sql("show tables from default").collect()]
tablesWithColumns = [[t, ",".join(spark.table("default." + t).columns)] for t in tables]
display(spark.createDataFrame(tablesWithColumns, ["tableName", "columnNames"]))