数据流:设置数据流管道调试选项



我的管道不断给出 OOM 错误,所以我阅读了一个 fowlling 答案并尝试设置--dumpHeapOnOOM--saveHeapDumpsToGcsPath。但这些选项似乎不起作用。我是否需要更改代码或修改其他内容?

Google Cloud Dataflow 上的内存分析

您需要检查配置管道选项。

Apache Beam (2.9.0) 中当前在命令行中配置流水线选项的方法是--<option>=<value>

在您的情况下,您可以设置--dumpHeapOnOOM=true --saveHeapDumpsToGcsPath="gs://foo"

最新更新