Apache Flink 支持迭代转换:https://ci.apache.org/projects/flink/flink-docs-release-1.4/dev/batch/iterations.html。
使用Apache Beam是否也支持这一点,或者我们可以使用Beam概念实现同样的事情吗?
我已经在Apache Beam的用户邮件列表中发布了这个问题。
有一个开放的票证(BEAM-106(,但它还没有开始。
有两种解决方案:
- 自己展开循环,这当然会限制迭代次数。请注意您创建的转换数量。这可能会受到跑步者的限制。
- 创建多个管道并存储中间数据。这样可以更轻松地进行调试,但会带来存储和加载数据的开销。