Jupyter笔记本电脑基于用户输入的自动化参数执行



我正在尝试构建一个服务,允许使用笔记本电脑的用户在单元格中设置自动化参数,比如笔记本电脑应该何时开始执行的开始时间。然后,该服务将占用该输入时间并在期望的时间执行笔记本,并将执行的笔记本存储到S3。我已经研究了papermill,但我认为没有办法使用它来添加自动化参数,如开始执行时间。有什么方法可以做到这一点吗?或者造纸厂有办法做到这一点吗?

Papermill只处理笔记本电脑的参数化和执行,而不是调度。为此,您需要使用另一个工具。您可以在Apache Airflow之上自己构建一些东西,它似乎是这种情况下最广泛的调度器。它有对Papermill的本地支持(请参阅此处(。或者你可以使用像Paperboy这样的现成工具。

要深入阅读有关安排笔记本的内容,请参阅Netflix的文章。

看看这里和这里的代码,看看将调度笔记本执行的包装器

上面的shell脚本创建一个VM,运行笔记本,保存输出并销毁实例。

在谷歌云人工智能平台笔记本中,我们提供了一项正在测试中的日程安排服务。

相关内容

  • 没有找到相关文章

最新更新