我目前正在尝试使用apache airflow和papermill执行jupyter笔记本电脑。
为了使用我的自定义环境和自定义用户内核,我正在使用BashOperator并运行这种格式的命令
runuser {user} -c 'papermill {input_notebook_path} {output_notebook_path} -k {kernel_name}'
这是Dag日志在尝试执行后的样子:Dag日志
我一直无法使用python或papermill操作符,因为笔记本电脑使用的内核/env没有全局安装。
有什么想法吗?
解决方法是编辑气流"Bash运算符";创建一个目录,而不是为每个dag创建自己的目录。
此外,输出笔记本的文件夹必须是777