当没有作业运行时，是否可以让Dataproc集群自动缩减到0个工作人员

Question

我知道最好的做法是在不使用时删除一个集群，并在运行作业时旋转一个集群。但我想知道我们是否可以让一个"集群"全天候运行，但在没有作业运行时(或在一段时间没有活动后(旋转所有工作人员，然后在作业启动时再次自动放大？

Answer 1

这是不受支持的。只有单节点集群才可以有零工作者，但他们不能有自动缩放策略。一个自动缩放集群必须至少有2个主工作线程。

Answer 2

我不是Hadoop的专家，但AFAIK，它用于分布式存储和处理。事实是，如果扩展到0，则会丢失存储空间。

在这种情况下，最好自动删除集群并自动创建它(例如Terraform(。