SparkRDD Operations

Question

让我们假设我在CSV文件中有两个A和B的表。我从a [max value = 100]选择最大值，并且我需要使用Javardd操作返回B列的相应值[返回值= aliexpress]，而无需使用DataFrames。

输入表：

COLUMN A     Column B   
   56        Walmart
   72        Flipkart
   96        Amazon
   100       AliExpress

输出表：

COLUMN A     Column B   
  100        AliExpress

这是我到现在尝试的

Sourcecode：

SparkConf conf = new SparkConf().setAppName("SparkCSVReader").setMaster("local");
JavaSparkContext sc = new JavaSparkContext(conf); 
JavaRDD<String> diskfile = sc.textFile("/Users/apple/Downloads/Crash_Data_1.csv");
JavaRDD<String> date = diskfile.flatMap(f -> Arrays.asList(f.split(",")[1]));

从上面的代码中，我只能获取一个列数据。无论如何，有两个列。有什么建议。预先感谢。

Answer 1

您可以使用top或takeOrdered功能来实现它。

rdd.top(1)  //gives you top element in your RDD

Answer 2

数据：

COLUMN_A,Column_B
56,Walmart
72,Flipkart
96,Amazon
100,AliExpress

使用 Spark 2

创建DF

val df = sqlContext.read.option("header", "true")
                   .option("inferSchema", "true")
                   .csv("filelocation")
df.show
import sqlContext.implicits._
import org.apache.spark.sql.functions._

使用DataFrame功能

df.orderBy(desc("COLUMN_A")).take(1).foreach(println) 

输出：

[100,AliExpress]

使用RDD功能

df.rdd
  .map(row => (row(0).toString.toInt, row(1)))
  .sortByKey(false)
  .take(1).foreach(println)

输出：

   (100,AliExpress)