我希望为集群中的一些管道创建一个依赖关系图。我正在尝试显示数据的起点和终点以及两点之间的所有数据流。我希望使用阿帕奇气流或阿帕奇猎鹰来完成这项任务。如果您对使用什么工具以及如何开始这个项目有任何建议,请告诉我。也请链接与阿帕奇猎鹰相关的任何文档。谢谢。
Apache Airflow 有一个很好的 UI,它允许您以树、图形甚至甘特图的形式查看 DAG。查看此内容以获取更多信息。
您可以在 Airflow 中创建自己的 UI 视图,从而显示所需的任何内容。请参阅 Airflow 插件文档。另请查看 Airflow 插件 github 示例