我有在GCP实例上运行的dataFlow作业。有两个实例一个是主人,另一个是工人。工人的机器类型为N1-Standard-8。
在正常的时间,工作成功运行,但有时我们的工作大小在我们的工作失败时很大:
The job failed because a work item has failed 4 times. Look in previous log entries for the cause of each one of the 4 failures. For more information, see https://cloud.google.com/dataflow/docs/guides/common-errors. The work item was attempted on these workers:
job-20190-04240315-izqn-harness-cfj8,
job-20190-04240315-izqn-harness-cfj8,
job-20190-04240315-izqn-harness-cfj8,
job-20190-04240315-izqn-harness-cfj8
根据理解是堆问题,因此将机器类型提高到N1-Standard-16。工作成功。
需要了解在这种情况下自动化如何无法正常工作并增加机器类型。
如何与机器类型相关或有效。
看起来自动升级仅适用于工人数量,而不是更改机器类型。相关文档在这里。