从Spark Etl重置BigQuery桌



我有一个问题。如果我有一个内置的databricks内置的ETL,将数据加载到BigQuery中,但是我希望在ETL的每次运行之前擦除BigQuery表,那是可能的吗?对不起,新手问题!谢谢!!!

加载数据时,有两个属性(除其他许多属性)。加载jobs.insert的属性,可用于控制您加载的表格以及如何发生:

configuration.load.writeDisposition

[可选]指定目标表已经存在的操作。

支持以下值:
write_truncate:如果表已经存在,则BigQuery覆盖表数据。 write_append:如果表已经存在,则BigQuery将数据附加到表中。
write_empty:如果表已经存在并包含数据,则在作业结果中返回"重复"错误。
默认值是write_append。

每个动作都是原子,只有在BigQuery能够成功完成工作时才发生。创建,截断和附加操作作为工作完成后的一个原子更新。

configuration.load.createDisposition

[可选]指定是否允许作业创建新表。

支持以下值:
create_if_needed:如果表不存在,则BigQuery将创建表。
create_never:表必须已经存在。如果没有,则在作业结果中返回"未发现"错误。
默认值是create_if_need。

创建,截断和附加操作作为工作完成后的一个原子更新。

所以, WRITE_TRUNCATE是您要寻找的

相关内容

  • 没有找到相关文章

最新更新