如果我在一个 spark 数据帧中有大约 3000 个变量，如何创建 3 个数据帧，每个数据帧有 1000 个变量

Question

我有一个包含 3000 个变量的大数据帧。我想将其分成 3 个数据帧，每个数据帧中每个数据帧中有 1000,1000,1000 个变量。到目前为止，我尝试的是制作 3 个包含 1000、1000 和 1000 个变量名称的列表。但是我不知道如何使用列表选择这 1000 个变量。

Answer 1

您可以使用

df.select()如下所示：

first_df = df.select(df.columns[:1000])
second_df = df.select(df.columns[1000:2000])
third_df = df.select(df.columns[2000:3000])

希望对:)有所帮助