在数据流程运行时，在路径中缺少对象或桶

Question

尝试在数据流服务上运行管道时，我在命令行上指定了登台和温度存储桶(在GCS中(。当程序执行时，我会在管道运行之前得到一个Runtime Exception，其中根本原因是我缺少路径中的某些内容。

Caused by: java.lang.RuntimeException: Failed to construct instance from factory method DataflowRunner#fromOptions(interface org.apache.beam.sdk.options.PipelineOptions) ... Caused by: java.lang.IllegalArgumentException: Missing object or bucket in path: 'gs://df-staging-bucket-57763/', did you mean: 'gs://some-bucket/df-staging-bucket-57763'?

gs://df-staging-bucket-57763/已经存在于我的项目中，我可以访问它。我需要添加什么才能使这项工作？

Answer 1

dataFlowRunner要求登台位置和温度位置是内的位置 bucket而不是存储桶的顶级级别。将目录(例如--stagingLocation=gs://df-staging-bucket-57763/staging或--tempLocation=gs://df-staging-bucket-57763/temp(添加到您的参数(对于stagingLocation和gcpTempLocation参数中的每个参数(都足以运行管道。

Answer 2

更新运行配置如下：

1. 在"管道参数"选项卡下的"使用默认数据流"选项"使用默认数据流选项"。手动选择管道参数。
2. 保持空白值的"云存储登台位置"。