我的管道不断给出 OOM 错误,所以我阅读了一个 fowlling 答案并尝试设置--dumpHeapOnOOM
和--saveHeapDumpsToGcsPath
。但这些选项似乎不起作用。我是否需要更改代码或修改其他内容?
Google Cloud Dataflow 上的内存分析
您需要检查配置管道选项。
Apache Beam (2.9.0) 中当前在命令行中配置流水线选项的方法是--<option>=<value>
。
在您的情况下,您可以设置--dumpHeapOnOOM=true --saveHeapDumpsToGcsPath="gs://foo"