Apache Airflow、Papermill和自定义内核



我目前正在尝试使用apache airflow和papermill执行jupyter笔记本电脑。

为了使用我的自定义环境和自定义用户内核,我正在使用BashOperator并运行这种格式的命令

runuser {user} -c 'papermill {input_notebook_path} {output_notebook_path} -k {kernel_name}'

这是Dag日志在尝试执行后的样子:Dag日志

我一直无法使用python或papermill操作符,因为笔记本电脑使用的内核/env没有全局安装。

有什么想法吗?

解决方法是编辑气流"Bash运算符";创建一个目录,而不是为每个dag创建自己的目录。

此外,输出笔记本的文件夹必须是777

相关内容

  • 没有找到相关文章

最新更新