我正在开发一个具有多个(微(服务的应用程序。
我正在使用 Flink(通过 Kafka(在服务之间流式传输消息。Flink 嵌入在 Java 应用程序中,每个应用程序都在单独的 docker 容器中运行。这是我第一次尝试 Flink,在阅读文档后,我仍然觉得我错过了一些基本的东西。
谁在管理这些工作?
作业管理器在哪里运行?
如何监控处理过程?
谢谢
摩西
我会推荐Stephan Ewen在Flink Forward 2016上的演讲。它解释了当前针对不同部署的 Apache Flink 架构 (10:45( 以及未来目标。
一般来说,JobManager 负责管理 Flink 作业,任务管理器执行由多个任务组成的作业。组件的编排方式取决于您的部署(本地、Flink 集群、YARN、Mesos 等(。
监控处理的最佳工具是 Flink Web UI 在端口 8081 默认情况下,它提供了不同的调试和监控指标(例如监控检查点或背压(。