使用 Java 的 Apache Flink 中的广播功能

Question

我正在尝试实现Apache Flink - broadcasting。我们如何使用 Java 实现数据集的广播。

请帮忙。

Answer 1

Flink DataSet API 编程指南提供了有关如何在 Java 中广播数据集的示例：

// 1. The DataSet to be broadcasted
DataSet<Integer> toBroadcast = env.fromElements(1, 2, 3);
DataSet<String> data = env.fromElements("a", "b");
data.map(new RichMapFunction<String, String>() {
    @Override
    public void open(Configuration parameters) throws Exception {
      // 3. Access the broadcasted DataSet as a Collection
      Collection<Integer> broadcastSet = getRuntimeContext().getBroadcastVariable("broadcastSetName");
    }
    @Override
    public String map(String value) throws Exception {
      ...
    }
}).withBroadcastSet(toBroadcast, "broadcastSetName"); // 2. Broadcast the DataSet