Apache Spark：在 PairFlatMapFunction 中，如何将元组添加回 Iterable<Tuple2<Integer， String>> 返回类型

Question

我是新手Spark。我一直在研究涉及两个数据集的代码。因此，我从一个Pairflatmapfunction开始，在该功能上，我正在进行映射器的处理。

JavaPairRDD<Integer, String> trainingArray = trainingData.flatMapToPair(new PairFlatMapFunction<String, Integer, String>(){
        public Iterable<Tuple2<Integer, String>> call(String s) {
//code to form the tuples of type Tuple2<Integer, String>
// new Tuples2<Integer, String> 
}

如何将元素添加回山顶类，以由还原器处理（redabybykey）。

任何指针都将不胜感激。

Answer 1

谢谢!!

我找到了这个问题的答案。

我们需要定义下面的arraylist

List<Tuple2<Integer, String>> result = new ArrayList<Tuple2<Integer, String>>();

添加如下

的元组

result.add(new Tuple2<Integer, String>(keyValue, concat));

并返回结果。

Answer 2

，如果您的结果仅由一个元组组成，这可能是更好的选择。

return Collections.singletonList(new Tuple2<Integer, String>(keyValue, concat)).iterator();