如何找到气流后端数据库的架构?

Question

我在Google Cloud Composer上使用apache airflow(v 1.10.2(，我想查看气流数据库的架构。在哪里可以找到此信息？

Answer 1

我能想到几种方法来比较我们当前的设计。

• 外部元数据数据库。如果可以连接到数据库，则可以获取架构。
• 从您的 UI 中，您可以转到数据事件探查并针对元数据表运行查询(取决于您的数据库类型(mysql 或 postgres 等(，并从那里查找信息并创建架构图。

我希望这有所帮助。

Answer 2

根据Composer架构设计，云SQL是存储所有Airflow元数据的主要位置。但是，为了通过 GKE 群集授予从客户端应用程序到数据库的授权访问权限，我们使用云 SQL 代理服务。特别是在作曲家环境中，我们可以找到airflow-sqlproxy*Pod，利用与Airflow Cloud SQL实例的连接。

话虽如此，我相信从任何GKE集群工作负载(Pods(建立与上述Airflow数据库的连接不会有任何问题。

例如，我将执行从 Airflow worker 到达 Cloud SQL 代理服务的连接airflow-sqlproxy-service.default并通过命令行实用程序进一步执行数据库发现mysql：

kubectl -it exec $(kubectl get po -l run=airflow-worker -o jsonpath='{.items[0].metadata.name}' 
-n $(kubectl get ns| grep composer*| awk '{print $1}')) -n $(kubectl get ns| grep composer*| awk '{print $1}') 
-c airflow-worker -- mysql -u root -h airflow-sqlproxy-service.default

<小时 />

Type 'help;' or 'h' for help. Type 'c' to clear the current input statement.

mysql> show databases;
+----------------------------------------+
| Database                               |
+----------------------------------------+
| information_schema                     |
| composer-1-8-3-airflow-1-10-3-*        |
| mysql                                  |
| performance_schema                     |
| sys                                    |
+----------------------------------------+
5 rows in set (0.00 sec)