BigQuery|bq加载带有STRING REPEATED的内联架构

Question

我正在尝试加载一个具有以下定义的bq表，其中一列(ref_list(为STRING REPEATED。

[
{
"name": "emp",
"type": "STRING"
},
{
"mode": "REPEATED",
"name": "ref_list",
"type": "STRING"
},
{
"name": "update_date",
"type": "DATE"
}
]

以下是我的输入数据：

{"emp":"Adam","ref_list":["Roger","Calvin","Andrew","Kohl"],"update_date":"1999-01-01"}
{"emp":"AntiP27","ref_list":["John","Patrick","Nick","Chris"],"update_date":"2020-01-01"}

我可以通过从本地指向.schema文件来加载表，但当我提供内联模式时，同样的操作失败了。

这是我的bq加载命令和内联模式选项。我不太确定如何指定模式=重复

bq load --replace --source_format=NEWLINE_DELIMITED_JSON emp_stage.emp_dtl gs://1324-global-delivery/emp_dtl.json emp:STRING,ref_list:STRING,update_date:DATE 

Answer 1

根据文档，不可能使用内联模式指定RECORD和列mode(NULLABLE，REPEATED(：

在命令行上指定架构时，不能包含RECORD(STRUCT(类型，不能包含列描述，并且无法指定列的模式。所有模式默认为NULLABLE。到包括描述、模式和RECORD类型，提供JSON模式文件。

bq_manualy_specifying_schemas

如果需要使用这些参数，则必须在专用文件中的Json模式中指定它们，就像您在示例中使用的那样。