Kubernetes AWS Cloudwatch适配器未获取EKS HPA自动缩放的自定义度量值

Question

我正试图通过Kubernetes Cloudwatch适配器启用基于自定义Cloudwatch度量的AWS EKS自动缩放。我已经将自定义指标推送到了AWS Cloudwatch，并验证了它们出现在Cloudwatch控制台中，并且可以使用boto3客户端get_metric_data进行检索。这是我用来将自定义度量发布到Cloudwatch:的代码

import boto3
from datetime import datetime
client = boto3.client('cloudwatch')
cloudwatch_response = client.put_metric_data(
Namespace='TestMetricNS',
MetricData=[
{
'MetricName': 'TotalUnprocessed',
'Timestamp': datetime.now(),
'Value': 40,
'Unit': 'Megabytes',
}
]
)

我有以下yaml文件用于在kubernetes中建立外部度量和hpa自动缩放器：

extMetricCustom.yaml:

apiVersion: metrics.aws/v1alpha1
kind: ExternalMetric
metadata:
name: test-custom-metric
spec:
name: test-custom-metric
resource:
resource: "deployment"
queries:
- id: sqs_test
metricStat:
metric:
namespace: "TestMetricNS"
metricName: "TotalUnprocessed"
period: 60
stat: Average
unit: Megabytes
returnData: true

hpaCustomMetric.yaml

kind: HorizontalPodAutoscaler
apiVersion: autoscaling/v2beta1
metadata:
name: test-scaler
spec:
scaleTargetRef:
apiVersion: apps/v1beta1
kind: Deployment
name: sqs-consumer
minReplicas: 1
maxReplicas: 4
metrics:
- type: External
external:
metricName: test-custom-metric
targetAverageValue: 2

当我评估Kubernetes Cloudwatch适配器是否正确获取了我的自定义度量(kubectl get-hpa(时，它总是显示度量为0:

NAME          REFERENCE                 TARGETS     MINPODS   MAXPODS   REPLICAS   AGE
test-scaler   Deployment/sqs-consumer   0/2 (avg)   1         4         1          161m

如何根据我的Cloudwatch自定义指标正确地自动缩放？

Answer 1

与OP合作解决了这个带外问题，当天晚些时候仍然有这个问题的标签，所以在这里为任何偶然发现它的人发布结果。

问题的根本原因是时区冲突。度量监视器基于"；当前"；metrics，但是metric生成器脚本中的下一行生成的是没有指定时区的时间戳，而且是在本地时区中。

'Timestamp': datetime.now(),

由于存在"；无数据"；对于当前时区(由于-X UTC偏移，过去只有X小时的数据(，系统没有启动缩放，因为存在值"0"；0"/nil/null有效。相反，可以指定UTC时间字符串以确保生成的度量是及时的：

'Timestamp': datetime.utcnow(),

第二个考虑因素是Kubernetes节点需要访问CloudWatch来轮询度量。这是通过将此策略附加到节点的IAM角色来完成的：

{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"cloudwatch:GetMetricData"
],
"Resource": "*"
}
]
}