如何在autoscaler配置中声明cpu数量.指定节点的Yaml

Question

我正试图找到配置的命令。Yml for ray autoscaler

我知道有max_workers，但它考虑集群作为一个整体。我想限制在每个工作节点上启动的cpu数量。

例如:

worker_node:
max_cpus: 3
Head_node:
max_cpus: 4

我该怎么做?

Answer 1

每个worker的cpu数量由worker的配置决定，该配置是特定于提供者的。这就是node_config字段的作用。例如，在AWSm中，如果您想指定一台4个CPU的机器，您可以这样做

available_node_types:
cpu_4_ondemand:
node_config:
InstanceType: m4.xlarge
min_workers: 1
max_workers: 5

注意InstanceType字段，它是特定于EC2的(它是4个cpu，因为这是m4上的cpu数量。超大实例).

对于Kubernetes，您将在node_config字段中放置一个CRD。例如

node_config:
apiVersion: v1
kind: Pod
metadata:
# Automatically generates a name for the pod with this prefix.
generateName: ray-worker-
# Must match the worker node service selector above if a worker node
# service is required.
labels:
component: ray-worker
spec:
resources:
requests:
cpu: 4000m
memory: 512MiB

要了解更多信息，您可能有兴趣查看ray repo中特定于提供商的示例。例如，以下是aws示例:https://github.com/ray-project/ray/tree/master/python/ray/autoscaler/aws