如何将spark映射与.net一起用于spark

Question

如何将spark映射与.net一起用于spark？类似于python：

nums=sc.parallelize([1,2,3,4])
squared=nums.map(lambda x: x*x).collect);

按比例：

val input=sc.parallelize([1,2,3,4])
val res=input.map(x=>x*x)

但是.net数据帧没有一个名为map 的函数

这份文件(https://learn.microsoft.com/en-us/dotnet/api/microsoft.spark.sql.functions.map?view=spark-dotnet(尚未进行演示。

Answer 1

map函数属于RDD API，而。Net实现了数据框架API(也称为SparkSQL(。您需要使用正确的函数，如Select来转换数据。因此，如果您将数据放入数据帧df中，那么您可以使用df.Select(df["col"]*df["col"])等在map中执行类似操作。

请参阅Spark中的示例。净回购。