数据流 gcloud CLI - "Template metadata was too large"

Question

我已经在DataPrep中完善了我的转换，现在正尝试使用gcloud CLI直接运行DataFlow作业。

我已经导出了我的模板和模板元数据文件，并尝试使用gcloud dataflow jobs run运行它们，并传入输入&输出位置作为参数。

我得到错误：

Template metadata regex '[ tnx0Bfr]*{[ tnx0Bfr]*((.|r|n)*".*"[ tnx0Bfr]*:[ tnx0Bfr]*".*"(.|r|n)*){17}[ tnx0Bfr]*}[ tnx0Bfr]*' was too large. Max size is 1000 but was 1187.

我还没有在命令行中指定它，所以我知道它是从元数据文件中获取的，该文件直接来自DataPrep，未经我编辑

我有17个输入位置，其中一个包含源数据，其他都是查找。每个正则表达式都有一个正则表达式，外加一个额外的正则表达式。

如果它在DataPrep的提示下运行，但不会通过CLI运行，我是不是遗漏了什么？

Answer 1

在这种情况下，我怀疑根本原因是gcloud中的限制，而该限制在Dataflow API或Dataprep中不存在。在这种情况下，最好的做法是在公共跟踪器中打开一个新的云数据流问题，并在那里提供详细信息。