选择 Flink 数据流执行的节点



我一直在寻找很多,但我没有找到解决方案。

让我们假设流过程中的一些步骤必须在可用节点/任务管理器的子集中执行,而其余任务可以在任何地方自由计算。

¿如何分配仅在节点子集中执行的数据流?

这主要是输入/接收器任务所必需的,因为并非群集中的每个节点都具有相同的连接性/安全限制。

我是 flink 的新手,所以如果我要求一些明显的东西,请原谅我。

多谢。

正如线程 [1] 中所述:在"数据流级别"而不是在"作业级别"完全不可能实现这一点。

正如 Vino Yang [1] 在 flink 1.6 over Yarn 中所解释的那样,我们可以为作业 [2] 设置标签,并为我们的作业获得一些"可分配性控制",但对于"低级"任务是可能的。

感谢维诺分享他的知识。

[1] http://mail-archives.apache.org/mod_mbox/flink-user/201808.mbox/%3C1534090580.7952.107.camel@uam.es%3E

[2] https://issues.apache.org/jira/browse/FLINK-7836

相关内容

  • 没有找到相关文章

最新更新