Dataproc pyspark作业总字节计费



我有一个通过dataproc提交的pyspark作业。我想知道我的工作使用了多少数据,换句话说,GCP要向我收取多少费用。

我查看了信息模式表,这些表没有显示通过dataproc运行的作业。

我正在寻找特定数据过程作业使用的所有资源。假设我触发了一个spark作业,它从BQ加载了一些数据,并使用存储临时存储这些数据。GCP将向我收取集群运行时间+ BQ +存储费用。我怎样才能得到一份工作的所有费用?

您的问题是关于数据处理将花费您多少钱?如果是的话,这取决于你的datacproc集群的vcpu。

看这个https://cloud.google.com/dataproc/pricing给出了定价计算器。

如果你的问题是关于dataproc处理BigQuery的数据,你可以使用BigQuery——dry run选项来运行dataproc发出的相同查询。这是链接。

https://cloud.google.com/bigquery/docs/dry-run-queries

希望这对你有帮助!

最新更新