Apache Beam 是否像 Apache Flink 一样支持迭代算法?



Apache Flink 支持迭代转换:https://ci.apache.org/projects/flink/flink-docs-release-1.4/dev/batch/iterations.html。

使用Apache Beam是否也支持这一点,或者我们可以使用Beam概念实现同样的事情吗?

我已经在Apache Beam的用户邮件列表中发布了这个问题。

有一个开放的票证(BEAM-106(,但它还没有开始。

有两种解决方案:

  • 自己展开循环,这当然会限制迭代次数。请注意您创建的转换数量。这可能会受到跑步者的限制。
  • 创建多个管道并存储中间数据。这样可以更轻松地进行调试,但会带来存储和加载数据的开销。

最新更新