错误:(bq)无法创建专用文件[/home/airflow/.config/gcloud/credentials.db]



我正在尝试使用docker将一些DAG部署到本地环境中。

我已经获得了一个谷歌应用程序默认凭据,并确保它已安装。当进入Airflow UI时,没有显示任何错误,但当我运行DAG时,涉及BashOperator的任务(特别是bq命令行工具(总是会失败,日志中会出现以下错误

ERROR: (bq) Unable to create private file [/home/airflow/.config/gcloud/credentials.db]: [Errno 1] Operation not permitted: '/home/airflow/.config/gcloud/credentials.db'

当我将包含DAG的同一个python文件部署到Cloud Composer上时,它运行良好,没有任何问题。

你们能帮我弄清楚这里发生了什么吗?我该如何运行任务?非常感谢

检查每个容器内的服务帐户。gcloud config listgcloud auth list

检查该服务帐户的BQ权限。

我遇到了一个类似的问题-您需要确保在本地计算机上运行shell命令的用户拥有该文件的权限。

我通过在Docker文件中添加以下命令解决了这个问题:

sudo chown -R airflow:airflow /home/airflow/.config/gcloud

最新更新