使用Apache Flink计算欧几里得距离

Question

Apache Flink具有设置库来计算欧几里得距离。我想在n维空间上使用相同的API进行距离计算。我有两个具有3个功能的数据集。

a = {0.1,0.3,0.8} b = {0.2,0.4,0.7}

如何使用Apache Flink计算两个向量之间的距离。

Answer 1

这应该做技巧

final ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
final DataSet<double[]> a = env.fromElements(new double[]{0.1, 0.3, 0.8});
final DataSet<double[]> b = env.fromElements(new double[]{0.2, 0.4, 0.7});
a.cross(b).map(new MapFunction<Tuple2<double[],double[]>, Double>() {
    final EuclideanDistance distance = new EuclideanDistance();
    @Override
    public Double map(Tuple2<double[], double[]> value) throws Exception {
        return distance.compute(value.f0, value.f1);
    }
})
.print(); // start execution and output result to STDOUT

在这里，我使用org.apache.commons.math3.ml.distance.EuclideanDistance计算距离。