FileNotFoundError： [Errno 2] 没有这样的文件或目录： 'hdfs'： 'hdfs' 在 crontab 中使用子进程 popen

Question

我使用subprocess。在python3中Popen将文件或目录放在hdfs中。在Linux shell上使用python3可以准确运行。但是当我使用crontab来运行代码时，我得到"FileNotFoundError: [Errno 2]没有这样的文件或目录:'hdfs': 'hdfs'"日志文件出错

make_dir = subprocess.Popen(['hdfs','dfs','-mkdir' , '-p' , hdfs_path])

Answer 1

我有类似的问题，当我的脚本执行气流在同一台机器上，气流没有加载我的环境变量。我必须在代码中手动设置环境变量。您可以在这里找到如何在代码中做到这一点。只需更新PATH以包含Hadoop二进制文件路径。此外，建议您可以在cron作业脚本中加载环境变量。如:

#!/bin/bash
source $HOME/.bash_profile
some_other_cmd

更多细节