无法定义SageMaker终结点的自动缩放

Question

我已经使用Docker容器部署了一个AWS端点(我遵循了这一点(。

一切都很完美，但现在我需要将其投入生产，并定义一个自动扩展策略。

我尝试了两件事：

1. AWS控制台，但自动缩放按钮为灰色出来

2. 此处描述的方法。我的端点名称是EmbeddingEndpoint，而我的变体名称是SimpleVariant。所以我的最后的命令是

aws application-autoscaling put-scaling-policy 
--policy-name scalable_policy_for_embedding 
--policy-type TargetTrackingScaling 
--resource-id endpoint/EmbeddingEndpoint/variant/SimpleVariant 
--service-namespace sagemaker 
--scalable-dimension sagemaker:variant:DesiredInstanceCount 
--target-tracking-scaling-policy-configuration file://policy_config.json

但我得到的结果是：

An error occurred (ObjectNotFoundException) when calling the PutScalingPolicy operation: 
No scalable target registered for service namespace: sagemaker, resource ID: 
endpoint/EmbeddingEndpoint/variant/SimpleVariant, scalable dimension: 
sagemaker:variant:DesiredInstanceCount

有人有其他解决方案吗，还是我没有很好地设置变量？提前谢谢！

Answer 1

您的sagemaker服务命名空间没有任何注册的扩展目标。在运行put-scaling-policy之前，您需要先运行register-scalable-target。

aws application-autoscaling register-scalable-target 
--service-namespace sagemaker 
--scalable-dimension sagemaker:variant:DesiredInstanceCount 
--resource-id endpoint/EmbeddingEndpoint/variant/SimpleVariant