从我们的 Flink 项目开始。
由于解析代码繁重,我的集群遭受了低背压。
所以我在系统上放置了监控脚本,该脚本不断向任务管理器询问背压状态。(每 20 秒运行一次以获得最大值和平均值(
顺便说一下,当我关闭脚本运行时,我发现背压比的增加比使用脚本时慢得多。
那么有没有有效的方法可以在不损失性能的情况下获得背压状态呢?
我不认为每 20 秒请求一次背压会对工作流程的性能产生重大影响。
另外,如果您有可用的 CPU 周期,那么接下来要尝试增加执行解析的函数的并行度,以提高吞吐量。