加载bigquery表后即将触发自动调度
In Brief:
我不想使用weekly schedule Query，那是手动的任务，我想让它在表加载到Bigquery表时自动触发schedule。
目前我使用手动每周时间表查询，我希望查询自动触发，没有任何手动的东西。
我只是在思考逻辑，而不是得到锦鲤。
Airflow没有在dag中提供外部触发器，但是您可以创建dag并在加载表后从云函数触发它，该云函数向气流API发送POST http请求以触发新的运行，其中包含dag处理数据所需的所有参数。
要触发云功能，你可以查看这个答案，它解释了如何使用eventarc从cloud watch中监听bigquery日志，过滤它们并触发云功能运行。
要触发dag运行，您可以检查气流API文档和API安全文档，以便允许云功能向API发送请求。