通过命令提示符/计划任务验证 bigquery 是否成功上传



我正在尝试通过计划任务(.bat文件(将文件上传到 BigQuery,下面的代码非常适合执行此操作(获取任何 csv 并使用填充具有相同名称的表的架构,然后移动原始文件(。

我想做的是,如果加载无法不移动文件 - 任何帮助还是我试图做一些对于简单的命令行执行来说太复杂的事情?

@ECHO Off
for %%g in (c:Test*.csv) do (
bq load --source_format=CSV my_project:data.%%~ng %%g c:Testschema.txt
move %%g c:Testarchive%%~ng.csv
)

注意:在运行此程序之前,它会验证我的凭据。

最佳做法是,您可以手动为加载作业创建作业 ID。因此,一旦 bigquery 启动作业,您就可以定期轮询作业状态以检查状态是否为成功/失败/正在运行,然后您可以选择根据此状态将 csv 文件移动到存档文件夹。

以下是有关此内容的一些文档链接

以编程方式生成作业 ID

查看作业状态

最新更新