目标:我想在Dataproc Serverless上为spark运行spark作业。
问题:Spark应用程序的最低CPU核心要求是12核。这不适合我们拥有的默认区域CPU配额，需要我们扩展它。12个内核对我们来说是多余的;我们不想扩大配额。
细节:这个链接提到了Dataproc Serverless for Spark的最低要求:https://cloud.google.com/dataprocserverless/docs/concepts/properties
它们如下:(a) 1个驱动节点和2个执行节点(b)每个节点4个内核
因此，总共需要12个CPU内核。
我们可以绕过这个，用更少的CPU内核为Spark运行Dataproc Serverless吗?
现在Spark工作负载的Dataproc Serverless需要12个CPU内核来运行-这是一个你不能绕过的硬最小值。
我们正在努力放宽这一要求，但它至少要到2023年第三季度才可用。