选择不频繁的大云计算的云服务

  • 本文关键字:云计算 服务 选择 cloud
  • 更新时间 :
  • 英文 :


不久:偶尔需要50个云VM,持续10分钟,每次1-2次 一天。

任务是处理数百个GB数据。数据位于小块中,所有处理代码均已实现,并准备将其从1到数百个内核缩放。平均数据集需要10分钟才能在50VM上进行处理(每个数据集都有16 GB RAM,总计200个核心)。

处理任务很不常见且不可预测(根据用户请求),因此保持云VM始终保持毫无意义。

但是,大多数云服务的扩展速度很慢,因此" 50 VMS上的10分钟"转为30分钟,浪费了VMS上的时间 - 甚至在这种情况下,资源也没有100%使用,因为最后一次VM终于在线,任务已经处理。在此之后,当这些VMS关机再停用30分钟以上,但仍被计费。

是否有任何已知的云服务能够快速启动并停止50个VM?最好是带有透明的定价。

如果您的作业是容易容忍的,则可以使用Google Cloud的可享有的实例。在某些情况下持续长达24小时,然后它们会自动关闭,并且比正常情况便宜约70%。

如果在不到10分钟的时间内关闭机器,则是免费的。另外,在我使用的所有其他提供商(包括AWS)中,Google Cloud的实例最快。旋转通常需要不到30秒。

有关更多信息:

https://cloud.google.com/compute/docs/instances/preemptible

为了一次旋转许多实例,您可以执行以下操作:

1-创建一个实例,安装批处理所需的所有必要软件。

2-从此实例中创建一个图像,您可以重复使用

3-使用该图像创建一个新的实例模板,并指定您需要可预见的实例。现在,您从此模板中创建的任何实例都将准备好起作用。这很容易做到,因为创建模板看起来很像创建唯一的实例。

4-根据该模板进行实例组。执行此操作时,您可以指定所需的实例数(在情况下为50)。GCP然后一次旋转。

5-现在可以在您想要的时候杀死他们,或者您可以离开它们,他们将寿命长达24小时,并会自动杀死。您可以随时更改实例组中的实例数。

更多信息:https://cloud.google.com/compute/docs/instances/preemptible#preemptible_with_instance_groups

这是最简单,最干净的方法。您只需要一次执行一次,然后在需要时单击几下即可旋转您的实例。

另一种方法是编写一个小脚本,该脚本将循环并创建一个实例,50次。

希望这会有所帮助。

您可以考虑使用用于高性能计算(HPC)的Azure批处理服务。它的目的是在100或100 VM上运行计算密集型任务并自动扩展。您可以按需运行或根据时间表进行运行。一旦VM准备开始运行任务。

这是一些有用的介绍性链接

  1. Azure Batch
  2. 简短的介绍视频(有点旧)
  3. 更长的视频

Azure Batch是针对HPC的,因此您应该首先考虑您的工作是否属于该类别并需要此类资源。

我不知道其他云平台,所以无法为您提供帮助。

最新更新