如何在 flink 中只获取大型数据集的最后一个元素?

Question

我正在使用数据集 api 创建字符串列表的数据集，我只需要从具有字符串列表的数据集中提取最后一个列表。是否可以仅从数据集中获取最后一个元素？

Answer 1

您必须记住，您处于并行执行环境中。如果你想有一个"最后一个条目"，你基本上必须序列化你的计算(如mapPartition().setParallelism(1)(。

但是您应该首先解释您的订单是什么。如果您的DataSet中有订单，您可以简单地成对reduce()结果。这将是可并行化的。