Flink 作业集群与会话集群 - 部署和配置



我正在研究 Flink 1.9.1 的 docker/k8s 部署可能性。

我在阅读/观看[1][2][3][4]之后。

目前,我们确实认为我们将尝试使用工作集群方法,尽管 我们想知道社区的趋势是什么?我们宁愿 不要为每个 Flink 集群部署多个作业。

无论如何,我想知道几件事:

  1. 如何更改每个任务管理器的任务槽数 作业和 会话群集?就我而言,我在 VirtualBox 上运行 docker,我有 4 个 分配给此计算机的 CPU。但是,每个任务管理器都是用 作业群集只有一个任务槽。但是,对于会话群集,在 同一台机器,每个任务管理器生成 4 个任务槽。

    在这两种情况下,Flink 的 UI 都显示每个任务管理器有 4 个 CPU。

  2. 如果我使用的是作业群集,如何重新提交作业。我指的是这个用途 案例 [5]。你可能会说我必须重新开始工作,但与不同的 参数。这是什么程序?顺便说一句,我正在使用检查点。

我应该杀死所有任务管理器容器并使用不同的重新运行它们吗 参数?

  1. 如何使用会话群集重新提交作业?

  2. 如何为作业/会话群集提供日志配置? 我有一个案例,我在 log4j.properties 中更改了日志级别和日志格式 这在本地(IDE(环境中工作正常。但是当我构建时 胖罐子,并基于这个罐子运行了一个作业集群,它接缝了我的 log4j 属性不会传递到群集。我看到原始格式和 原始 (INFO( 级别。

谢谢

[1] https://youtu.be/w721NI-mtAA

[2] https://youtu.be/WeHuTRwicSw

[3] https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/docker.html

[4] https://github.com/apache/flink/blob/release-1.9/flink-container/docker/README.md

[5] http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Flink-Job-claster-scalability-td32027.html

目前,我们确实认为我们将尝试使用工作集群方法,尽管我们想知道社区趋势是什么?我们宁愿不要为每个 Flink 集群部署多个作业。

这个问题可能更适合用户邮件列表。

如何更改作业和会话群集的每个任务管理器的任务槽数?

您可以通过配置选项taskmanager.numberOfTaskSlots来控制它

如何使用会话群集重新提交作业?

此处对此进行了描述。底线是创建一个保存点并从中恢复作业。也可以从保留的检查点恢复作业。

如果我使用的是作业群集,如何重新提交作业。

从概念上讲,这与从会话群集中的保存点恢复作业没有什么不同。可以将保存点的路径指定为群集入口点的命令行参数。此处介绍了详细信息。

如何为作业/会话群集提供日志配置?

如果你正在使用 Flink 二进制发行版bin/目录中的脚本来启动集群(例如bin/start-cluster.shbin/jobmanager.shbin/taskmanager.sh等(,你可以通过调整conf/log4j.properties来更改 log4j 配置。日志记录配置作为系统变量传递给 JobManager 和 TaskManager JVM(请参见bin/flink-daemon.sh(。另请参阅 Flink 文档中的"如何使用日志记录">一章。

相关内容

  • 没有找到相关文章

最新更新