如何在Scala中将DataFrame转换为RDD

Question

谁能分享一下如何将dataframe转换为RDD ?

Answer 1

简体:

val rows: RDD[Row] = df.rdd

Answer 2

如果您想将一行映射到不同的RDD元素，则使用df.map(row => ...)将数据框转换为RDD。例如

df.map(row => (row(1), row(2)))

给出一个配对的RDD，其中df的第一列是键，df的第二列是值。

Answer 3

我只是在寻找我的答案，发现了这篇文章。

Jean的回答绝对正确，加上那个"df"。rdd"将返回一个rdd [Rows]。一旦我得到RDD，我需要应用split()。为此，我们需要将RDD[Row}转换为RDD[String]

val opt=spark.sql("select tags from cvs").map(x=>x.toString()).rdd