将表从美国数据集移动到欧盟数据集



我在谷歌云平台(和Bigquery)上创建了一些位于美国的项目。现在我只想在欧盟创建数据集。有没有任何方法可以在不本地下载数据的情况下将这些表从美国数据集复制到欧盟数据集??

我从拥有导入管道的子团队成员那里得到了以下建议:

  1. 提取到GCS
  2. 复制到其他区域的GCS存储桶
  3. 导入BQ

恐怕我们现在没有比这更精简的了

有使用跨区域复制的选项。命令示例:

bq mk --transfer_config --project_id=your-project-id --data_source=cross_region_copy --target_dataset=your-target-dataset --display_name='description' --params='{"source_dataset_id":"your-source-dataset","source_project_id":"your-project-id","overwrite_destination_table":"true"}'

此命令在区域之间复制数据集,并替换目标数据集中的所有现有表。我并没有找到只复制特定表格的方法。

Copy要求源表和目标表位于同一位置
因此,您可以选择将数据从源表提取到云存储,然后从云存储加载到目标

根据关于复制BQ表的文档,

复制表时,目标数据集必须与要复制的表位于同一位置。例如,不能将表从基于欧盟的数据集复制到基于美国的数据集。

从今天起,我们无法直接在不同地区之间复制表格。

我相信您可以为此使用"复制表"功能。在UI中单击表名称旁边的下拉列表,然后选择"复制表"。

最新更新