谷歌数据融合执行错误"INVALID_ARGUMENT: Insufficient 'DISKS_TOTAL_GB' quota. Requested 3000.0, available 2048

Question

我正在尝试使用Google Data Fusion Free版本将简单的CSV文件从GCS加载到BQ。管道失败并显示错误 。它读到：

com.google.api.gax.rpc.InvalidArgumentException: io.grpc.StatusRuntimeException: INVALID_ARGUMENT: Insufficient 'DISKS_TOTAL_GB' quota. Requested 3000.0, available 2048.0.
    at com.google.api.gax.rpc.ApiExceptionFactory.createException(ApiExceptionFactory.java:49) ~[na:na]
    at com.google.api.gax.grpc.GrpcApiExceptionFactory.create(GrpcApiExceptionFactory.java:72) ~[na:na]
    at com.google.api.gax.grpc.GrpcApiExceptionFactory.create(GrpcApiExceptionFactory.java:60) ~[na:na]
    at com.google.api.gax.grpc.GrpcExceptionCallable$ExceptionTransformingFuture.onFailure(GrpcExceptionCallable.java:97) ~[na:na]
    at com.google.api.core.ApiFutures$1.onFailure(ApiFutures.java:68) ~[na:na]

对于Mapreduce和Spark执行管道重复相同的错误。 感谢解决此问题的任何帮助。谢谢

问候 嘉

Answer 1

这意味着请求的总计算磁盘数将使项目超过项目的 GCE 配额。有项目范围和区域配额。您可以在此处查看该文档：https://cloud.google.com/compute/quotas

要解决此问题，您应该增加 GCP 项目中的配额。

Answer 2

@Ksign为一个类似的问题提供了以下答案，可以在这里看到。

与DISKS_TOTAL_GB相关的特定配额是Persistent disk standard (GB)，如磁盘配额文档所示。

您可以在项目的云控制台中按区域编辑此配额，方法是转到 IAM 和管理页面 => 配额，并仅选择指标永久磁盘标准 (GB(。