我有一个RDD,它的分区包含元素(碰巧是熊猫数据帧(,可以很容易地转换为行列表。 把它想象成这样
rows_list = []
for word in 'quick brown fox'.split():
rows = []
for i,c in enumerate(word):
x = ord(c) + i
row = pyspark.sql.Row(letter=c, number=i, importance=x)
rows.append(row)
rows_list.append(rows)
rdd = sc.parallelize(rows_list)
rdd.take(2)
这给了
[[Row(importance=113, letter='q', number=0),
Row(importance=118, letter='u', number=1),
Row(importance=107, letter='i', number=2),
Row(importance=102, letter='c', number=3),
Row(importance=111, letter='k', number=4)],
[Row(importance=98, letter='b', number=0),
Row(importance=115, letter='r', number=1),
Row(importance=113, letter='o', number=2),
Row(importance=122, letter='w', number=3),
Row(importance=114, letter='n', number=4)]]
我想把它变成一个Spark DataFrame。 我希望我能做到
rdd.toDF()
但这给出了一个无用的结构
DataFrame[_1: struct<importance:bigint,letter:string,number:bigint>,
_2: struct<importance:bigint,letter:string,number:bigint>,
_3: struct<importance:bigint,letter:string,number:bigint>,
_4: struct<importance:bigint,letter:string,number:bigint>,
_5: struct<importance:bigint,letter:string,number:bigint>]
我真正想要的是一个 3 列的数据帧,比如这个
desired_df = sql_context.createDataFrame(sum(rows_list, []))
这样我就可以执行这样的操作
desired_df.agg(pyspark.sql.functions.sum('number')).take(1)
并得到答案 23.
正确的方法是什么?
您有一个行列表的 RDD,而您需要行的 RDD;您可以使用flatMap
展平rdd
,然后将其转换为数据框:
rdd.flatMap(lambda x: x).toDF().show()
+----------+------+------+
|importance|letter|number|
+----------+------+------+
| 113| q| 0|
| 118| u| 1|
| 107| i| 2|
| 102| c| 3|
| 111| k| 4|
| 98| b| 0|
| 115| r| 1|
| 113| o| 2|
| 122| w| 3|
| 114| n| 4|
| 102| f| 0|
| 112| o| 1|
| 122| x| 2|
+----------+------+------+
import pyspark.sql.functions as F
rdd.flatMap(lambda x: x).toDF().agg(F.sum('number')).show()
+-----------+
|sum(number)|
+-----------+
| 23|
+-----------+