在Spark缺少记录中爆炸

Question

df的现有模式：

|-- col1: string (nullable = true)
|-- col2: array (nullable = true)
|    |-- element: struct (containsNull = true)
|    |    |-- col2_1: string (nullable = true)
|    |    |-- col2_2: string (nullable = true)

现有模式的示例数据：

 col1         col2    
  A       [[0,2],[1,3]]
  B       [[1,5]] 
  C       [[5,9],[4,6],[2,6]] 

必需模式：

|-- col1: timestamp (nullable = true)
|-- col2_1: string (nullable = true)
|-- col2_2: string (nullable = true)

所需架构的示例数据：

 col1          col2_1    col2_2    
  A            0           2
  A            1           3
  B            1           5
  C            5           9
  C            4           6
  C            2           6

代码：

var df_flattened = df.select($"*", explode($"col2").as("flat")).select($"*",$"flat.col2_1",$"flat.col2_2").drop("col2")

我对代码没有任何错误。但是它的缺失值来自原始DF，其中不同的（COL1）在原始DF中〜20000，并且在变平后变为〜6000。

关于错误的任何建议。

Answer 1

explode()不会在爆炸数组为 null的地方散发任何行。因此，您应该改用explode_outer()。