重命名 SPARK 中具有相同名称的字段

Question

我正在使用具有相同字段名称的JSON。如何在火花数据帧中重命名。请帮忙。

val df1 =dataframe.select( "BusinessAsset.Name", "BusinessAsset.Code", "BusinessOperation.Name" as Name1, "BusinessOperation.Code" as code1, "Measurement.RecordedBy.System", "Measurement.RecordedBy.Code" as c1)

Answer 1

.select()也可以采用Column类型，而不仅仅是字符串。Column 类型可以使用其.as()方法设置其名称：

val df1 = dataframe.select(
  $"BusinessAsset.Name",
  $"BusinessAsset.Code",
  $"BusinessOperation.Name".as("Name1"),
  $"BusinessOperation.Code".as("code1"),
  $"Measurement.RecordedBy.System",
  $"Measurement.RecordedBy.Code".as("c1")
)

Answer 2

它与 SQL 中的创建别名相同。你可以使用它的东西