Apache Spark中所有点对之间的距离

Question

我有一个包含470个纬度和经度值的文本文件。我想计算所有成对点的距离。有人能告诉我如何在Apache Spark中使用JAVA作为编程语言吗。

~问候，Chandan

Answer 1

您可以获取点的RDD，然后在RDD上使用笛卡尔函数，这将返回一个包含所有点组合的RDD对，然后您可以在其上进行映射并计算每对的距离。

Answer 2

为了补充@Holden的回答，这里有一个Java片段来说明这个想法。代码假设您有一个文件，其中每一行都由用空格分隔的纬度和经度值组成。

JavaRDD<String> input = sc.textFile("/path/to/your/file");
// map each line to pairs of Double, representing the points
JavaPairRDD<Double, Double> points = input.mapToPair(
      new PairFunction<String, Double, Double>() {
          public Tuple2<Double, Double> call(String s) throws Exception {
              String[] parts = s.split(" +");
              return new Tuple2<>(
                      Double.parseDouble(parts[0]),
                      Double.parseDouble(parts[1]));
          }
      }
);
// then, get the cartesian product of the point set, and map
// each resulting pair of points to the distance between them
JavaDoubleRDD distances = points.cartesian(points).mapToDouble(new DoubleFunction<Tuple2<Tuple2<Double, Double>, Tuple2<Double, Double>>>() {
  public double call(Tuple2<Tuple2<Double, Double>, Tuple2<Double, Double>> pointPair) throws Exception {
      Double lat1 = pointPair._1()._1();
      Double lon1 = pointPair._1()._2();
      Double lat2 = pointPair._2()._1();
      Double lon2 = pointPair._2()._2();
      return dist(lat1, lon1, lat2, lon2); // omitted for clarity
  }
});
// then, do something with your distances
distances.foreach(new VoidFunction<Double>() {
  public void call(Double aDouble) throws Exception {
      System.out.println("D: " + aDouble);
  }
});

当然，如果出于某种原因需要保持每对点之间的链接和它们之间的距离，只需映射到一对点，该对点作为第一个元素，距离作为第二个元素。

希望它能有所帮助。干杯