在hadoop流处理过程中导入pytz模块错误



我在hadoop上运行python脚本,它给出了以下错误

importterror: No module named pytz

当我在终端上运行python脚本时,它执行得很好。理想情况下,这应该不会发生,因为hadoop使用与系统相同的python版本和库。你知道吗?

如果在流作业中使用任何python包,则需要将其安装在集群的每个单独节点上。另一种选择是将包压缩到tarball中,并与-file选项一起发送。更多细节请参考这个答案——如何在Hadoop流作业中包含python包?

最新更新