是否有办法从Composer中提取所有可用的作业日志并将其导出到Bigquery Dataset表中?
需要一些关于接近设计的建议。
需求是获得作业信息，如执行日期，并且如果可能的话，从Composer添加额外的元数据列到BQ表中。例如，如果要从GCS加载任何数据到BQ，我想在每个作业执行后写入控制BQ表。
感谢正如我在评论部分中提到的，Cloud Composer将来自单个DAG's的日志存储在bucket内的环境文件夹中。
当您创建环境时，Cloud Composer会创建一个Cloud Storage桶并将桶与您的环境关联起来。Cloud Composer将单个DAG任务的日志存储在bucket的logs文件夹中。
在本文档中，您还可以找到有关日志结构，日志类型或如何在云存储中查看日志的信息:
$ gsutil ls -r gs://BUCKET/logs
该文档还提到了日志保留。简而言之，日志将一直保存到您删除环境或手动删除它。
作为一种替代方法，您可以配置sink来创建和管理sink以将日志条目从GCS路由到GBQ。也可以参考《使用云存储传输服务手动连接GCS到BigQuery》。