我希望能够在远程集群上执行之前在本地机器上测试我的作业和代码。理想情况下,这将不需要很多设置在我的结束。这可能吗?
是的,这是可能的。Iguazio平台的一个常见开发模式是在笔记本电脑/工作站上使用MLRun和Nuclio的本地版本,并在稍后的时间在集群上移动/执行作业。
在本地环境中安装MLRun和Nuclio有两个主要选项:
docker-compose
-更简单,更容易启动和运行,但仅限于在执行它的环境中运行作业(即Jupyter或IDE)。这意味着您不能指定CPU/MEM/GPU等资源来运行特定的作业。这种方法对于快速启动和运行非常有用。说明可在此处找到。Kubernetes
-更复杂的启动和运行,但允许运行作业在自己的容器与指定的CPU/MEM/GPU资源。这种方法可以更好地在本地环境中模拟Iguazio平台的功能。说明可在此处找到。
一旦你使用上面的一个选项安装了MLRun和Nuclio,并创建了一个作业/函数,你就可以在本地测试它,也可以直接从本地开发环境部署到Iguazio集群:
- 要在本地运行作业,在指定MLRun函数时使用
local=True
标志,如快速开始指南中所示。 - 要远程运行作业,指定所需的环境文件以允许连接到本指南中指定的Iguazio集群,并使用
local=False
运行作业。