将数据集应用为 Spark 中的广播

Question

我有两个数据集，我需要在尝试注册时将一个数据集（较小的数据集）注册为广播，我可以使用广播功能。

这是代码：

JavaRDD<String> maps = ctx.textFile("C:\Users\sateesh\Desktop\country.txt");
Broadcast<JavaRDD<String>> broadcastVar = ctx.broadcast(maps);
//Broadcast<Map<Integer, String>> broadcastVar = ctx.broadcast(map);
List<Integer> list = new ArrayList<Integer>();
list.add(1);
list.add(2);
list.add(9);
JavaRDD<Integer> listrdd = ctx.parallelize(list);
JavaRDD<Object> mapr = listrdd.map(x -> broadcastVar.value());
System.out.println(mapr.collect());

在这里我无法得到broadcastVar.value().get(x).如果将任何手动地图注册为广播，则效果很好，但在文本文件的情况下，它不起作用。

Answer 1

为了将任何数据广播到集群，它必须来自驱动程序。所以，collect()你的rdd并广播它。

JavaRDD<String> rdd = ctx.textFile("C:\Users\sateesh\Desktop\country.txt");
Broadcast<List<String>> broadcastVar = ctx.broadcast(rdd.collect());

请注意collect()会将整个rdd带给驱动程序，这可能会引发 OOM 异常。对于较小大小的数据，建议使用广播。