获取 Spark 中蜂巢表的 HDFS 位置

Question

我正在尝试使用以下查询从 Spark 中的 Hive 分区表中解析出位置：

val dsc_table = spark.sql("DESCRIBE FORMATTED data_db.part_table")

我无法在 Spark 中找到任何查询或任何其他方式来专门从此查询中选择位置列。

Answer 1

数据帧API中的df.inputFiles方法将打印文件路径。它返回组成此数据帧的文件的最佳快照。

spark.read.table("DB.TableName").inputFiles
Array[String]: = Array(hdfs://test/warehouse/tablename)

Answer 2

您还可以在desc formatted table上使用.toDF方法，然后从数据帧进行筛选。

DataframeAPI:

scala> :paste
spark.sql("desc formatted data_db.part_table")
.toDF //convert to dataframe will have 3 columns col_name,data_type,comment
.filter('col_name === "Location") //filter on colname
.collect()(0)(1)
.toString

Result:

String = hdfs://nn:8020/location/part_table

(or)

RDD Api:

scala> :paste
spark.sql("desc formatted data_db.part_table")
.collect()
.filter(r => r(0).equals("Location")) //filter on r(0) value
.map(r => r(1)) //get only the location
.mkString //convert as string
.split("8020")(1) //change the split based on your namenode port..etc

Result:

String = /location/part_table

Answer 3

您可以使用 Spark 的表格读取实用程序：

spark.read.table("myDB.myTable").select(input_file_name).take(1)将生成如下字符串：

19/06/18 09:59:55 WARN util.Utils: Truncated the string representation of a plan since it was too large. This behavior can be adjusted by setting 'spark.debug.maxToStringFields' in SparkEnv.conf.
res1: Array[org.apache.spark.sql.Row] = Array([hdfs://nameservice1/my/path/to/table/store/part-00000-d439163c-9fc4-4768-8b0b-c963f5f7d3d2.snappy.parquet])

我曾经只take(1)打印一行来显示此处的结果。如果您想要所有位置，您可能不想使用它。根据此结果，您可以相应地解析字符串，以防您只需要位置部分。

Answer 4

在 Pyspark 中找不到答案

table_location = spark.sql("describe formatted DB.TableName").filter((F.col('col_name')=='Location')).select("data_type").toPandas().astype(str)['data_type'].values[0]