如何获取 Flink 中所有并行度的指标?

Question

在 flink web UI 中，我可以获取每个并行度的指标，

对于并行度 0，它喜欢：

0_filter_numberOfRecords in 

对于并行 9，它喜欢：

9_filter_numberOfRecords in 

如何获得所有并行度的相同指标？

Answer 1

您可以通过直接查询 Flink 的 rest 端点来获取聚合指标。您需要以下信息：

1. 作业 IDjobId标识要查询的操作员所属的作业
2. 顶点 idvertexId标识要从中检索指标的运算符

可以通过查询http://flink_cluster:port/jobs来获取jobId。

可以通过查询http://flink_cluster:port/jobs/:jobId来获取vertexId，该查询为您提供作业信息(运算符及其顶点 ID 的列表)。

获得所需的 ID 后，您可以将 GET 请求发送到：

http://flink_cluster:port/jobs/:jobId/vertices/:vertexId/subtasks/metrics?get=filter.numberOfRecords

请将:jobId和:vertexId替换为相应的 ID。

如果要聚合子任务范围的指标，则可以将请求更改为subtasks/metrics?get=filter.numberOfRecords&subtasks=0-1,4-5，以便指定要包含在聚合中的子任务。