Papermill PySpark support



我正在寻找一种轻松执行jupyter笔记本的参数运行的方法,我找到了Papermill Project(https://github.com/nteract.com/nteract/papermill/)

这个工具似乎与我的要求符合我的要求,但是我找不到任何pyspark内核支持的参考。

Pyspark内核是由Papermill执行支持的吗?

如果是,则需要进行一些配置,以将其连接到Jupyter使用的火花集群?

事先感谢您的支持,Mattia

Papermill将与Pyspark内核一起使用,只要它们实现Jupyter的内核规范。

配置内核将取决于相关的内核。通常这些从spark.conf和/或spark.properties文件读取以配置spark的群集和启动时间设置。

相关内容

  • 没有找到相关文章

最新更新