为什么云数据流在我的数据所在的不同区域运行其工作人员



在评估GCP作为我们业务的潜在分析平台时,我在欧盟建立了一个云存储桶。我已经将我的BigQuery数据集配置为也位于欧盟。但是,当我在云数据流服务中运行ETL作业,将数据从前者移动到后者时,我在日志中看到以下消息:

工人配置:us-central1-f 中的n1-标准-1

除了出现有关性能和延迟的技术问题外,我还担心数据需要留在欧盟内部往返美国数据中心进行处理的法律方面。

我无法在DataflowPipelineRunner选项中指定工作人员位置,在数据处理和安全条款中,我也无法确定我是否可以假设我的数据不会移动。

云数据流是否可以在其认为方便的任何地方处理我的数据,无论数据存储在哪里或目的地?

根据文档:

默认情况下,数据流服务在区域us-central1-f中部署计算引擎资源。您可以在创建管道时通过指定--zone选项来覆盖此设置。

此选项在DataflowPipelineWorkerPoolOptions中声明。

最新更新