从数据流到BigQuerysource的简单查询会引发异常

Question

我正在尝试编写一个简单的数据流作业，该作业在BigQuerySource类中使用query参数。

用最简单的话来说，我可以使用BigQuerySource类访问BigQuery表，然后对其进行过滤。我无法使用BigQuerySource直接查询/过滤器。

这是一些代码。在我的数据流管线中过滤额，正常工作：

import argparse
import apache_beam as beam
parser = argparse.ArgumentParser()
parser.add_argument('--output', required=True)
known_args, pipeline_args = parser.parse_known_args(None)    
p = beam.Pipeline(argv=pipeline_args)
source = 'bigquery-public-data:samples.shakespeare'
rows = p | 'read'>>beam.io.Read(beam.io.BigQuerySource(source))
f = rows | 'filter' >> beam.Map(lambda row: 1 if (row['word_count'] > 1) else 0) 
f | 'write' >> beam.io.WriteToText(known_args.output)    
p.run()

用单行查询代替中间节的错误。

f = p | 'read' >> beam.io.Read(beam.io.BigQuerySource('SELECT 1 FROM ' 
    + 'bigquery-public-data:samples.shakespeare where word_count > 1'))

返回的错误看起来像是语法错误。

(a29eabc394a38f62): Workflow failed. Causes: 
(a29eabc394a38cfa): S04:read+write/Write/WriteImpl/WriteBundles+write/Write/WriteImpl/Pair+write/Write/WriteImpl/WindowInto(WindowIntoFn)+write/Write/WriteImpl/GroupByKey/Reify+write/Write/WriteImpl/GroupByKey/Write failed.,
(fb6d0643d7f13886): BigQuery execution failed., 
(fb6d0643d7f13b03): Error:  Message: Encountered " "-" "- "" at line 1, column 59. Was expecting: <EOF>

我需要逃脱BigQuery项目名称中的-字符吗？

Answer 1

在BigQuery Legacy SQL中 - 您应该使用[和]
逃脱全表参考对于标准SQL，您应出于相同原因使用back-ticks

另请参见逃脱的保留关键字和无效标识符