使用特殊库在OOzie中运行Python脚本，而无需将其安装到服务器

Question

我想用特殊的库在OOzie工作流中运行Python脚本。但是，我想在不将这些特殊库安装到Hadoop节点的情况下运行此脚本。我试着和virtualenv一起跑步，但失败了。有人知道如何在服务器端不安装任何库的情况下运行这个Python脚本吗？

谢谢：(

Answer 1

为什么不将作业作为pyspark作业运行，并通过"CCD_ 1"；参数有点烦人，但不需要任何特殊的库。

你说"；没有安装库"；所以这不是你想要的。。。但是，如果在所有节点上都安装了vitrualenv，那么就可以使用pyspark来部署环境。如果你把它和Oozie火花工作结合起来，你就会有我认为你想做的事情。