Kubeflow VS通用工作流协调器

Question

与其他(通用(工作流协调器相比，我很难理解Kubeflow(KF(的功能角色。

我知道KF是面向ML任务的，并且是建立在Argo之上的。

两个问题：

1. KF是否可以在更高级别上用作工作流协调器，以执行更通用的任务(即ETL(，其结果可能对以下ML任务有用
2. 可以在KF中使用Argo的所有功能
3. 通用工作流协调器(如Airflow、argo等(能做什么而KF不能做的

Answer 1

1. 是的，您可以创建一个python函数/通用容器，其中包含执行您喜欢的任何任务的代码

• 预定义组件-https://www.kubeflow.org/docs/components/pipelines/sdk-v2/component-development/

• python组件-https://www.kubeflow.org/docs/components/pipelines/sdk-v2/python-function-components/

2. KFP是Argo工作流的抽象顶层。它使您能够使用python而不是编写YAML文件来创建工作流。查看这篇文章：https://towardsdatascience.com/build-your-data-pipeline-on-kubernetes-using-kubeflow-pipelines-sdk-and-argo-eef69a80237c

• 由于Argo工作流的开发是独立于KFP进行的，因此可以放心地假设KFP中会缺少一些功能(社区将根据需求添加哪些功能(

3. 这是个大问题。一般来说，airflow有传感器、SLA功能/大量的操作员/传感器/报告/插件，还有一个更大的社区，因为它不是面向ML的