我们如何使用 gcloud 或 python 获取失败的 dataproc 作业及其开始时间的列表

Question

如何使用gcloud或python获取失败的dataproc作业及其开始时间的列表？我在文档中没有看到太多有关此的信息。

Answer 1

完全按照您的要求进行操作很棘手，但此命令几乎与它匹配：

gcloud dataproc jobs list --filter="status.state=INACTIVE" --format="table(jobUuid,status.state,statusHistory[0].stateStartTime)"

这将打印出不再运行的所有作业的作业 UUID、最终状态和开始时间。

这与您要求的差距在于返回的列表包括所有失败、取消和已完成的作业，而不仅仅是失败的作业。

问题是 Dataproc 作业列表 API 支持按作业状态进行筛选，但仅支持对"活动"或"非活动"的广泛类别进行筛选。"非活动"类别包括状态为"错误"的作业，但也包括"完成"和"已取消"。

我可以获得您要求的完整解决方案的最简单方法是通过管道传输该命令的输出grep

gcloud dataproc jobs list --filter="status.state=INACTIVE" --format="table(jobUuid,status.state,statusHistory[0].stateStartTime)" | grep ERROR

这只会列出失败的作业，但它是特定于Unix的。