气流-GCP操作员:GoogleCloudStorageToBigQueryOperator-需要15分钟才能完成

Question

我正在使用GoogleCloudStorageToBigQueryOperator，使用GCS中的csv文件在BigQuery中创建一个小表。我在本地机器上的VirtualBox中有气流。每次，这个简单的操作都需要15分钟才能完成。我试过从Local换成Celery Executitor，但仍然需要15分钟。有什么改进表现的建议吗？

非常感谢

斯里兰卡。

Answer 1

我在GCP上创建了一个虚拟机，并在上面安装了气流。将DAG移到上面，数据在几秒钟内加载。