如何在BigQuery中将LOCAL中的多个文件(同一架构)加载到一个表中

Question

我在本地机器的一个文件夹中有多个文件。每个文件都有相同的模式。如何在一行cli中将这些文件上传到BQ？我试过这个：

bq load --source_format=NEWLINE_DELIMITED_JSON --ignore_unknown_values temp.test_load ./* ./schema.json

但我犯了这个错误Too many positional args, still have...(并继续使用文件夹中所有文件的名称(

但当我指定文件名时，它会将其上传到BQ中，不会出现任何错误：

bq load --source_format=NEWLINE_DELIMITED_JSON --ignore_unknown_values temp.test_load ./file_1.ndjson.gz ./schema.json(这个正在工作(

如何从本地进行多次上传？

Answer 1

将数据从本地文件加载到BigQuery时，文件只能单独加载，因为从本地文件中加载数据不支持通配符和逗号分隔列表。

只有当您将数据从云存储加载到BigQuery时，通配符才受支持，前提是所有文件共享一个通用的基本名称。