在 Flink 中的不同作业之间交换数据



我需要运行单独的作业,但我需要以某种方式传达这两个作业,例如:

源 1 -> 运算符 1 -> 接收器 1 源 2 -> 运算符 2 -> 接收器 2

在某些时候,我需要在 job2 中知道 job1 中的操作员 1 何时触发某些内容,然后在 job2 中启动操作员 2,或者只是对作业 2 中作业 1 中的操作员 1 的结果做一些事情,例如,跳跃不说任何疯狂的话。

亲切问候。

您可以使用某种消息队列或发布/订阅系统(例如,Kafka,Pulsar等(,以便sink1和source2是相同的资源。然后,作为作业 1 输出生成的流将成为作业 2 的输入。

你可以看看有状态函数,这是另一个使用 Flink 运行时的 API。它提供了实现独立部署的远程功能的可能性。有关介绍,请参阅此 Flink Forward 演讲。

相关内容

  • 没有找到相关文章

最新更新