Python 和 AWS EMR 步骤:使用 os.system 运行命令，例如 chmod，当作为 EMR 步骤运行时

Question

我的团队在 AWS 中工作，我们有 python 脚本，这些脚本正在将文件从 S3 存储桶移动到 EC2 实例。我想用我们使用的脚本作为开头，该脚本在直接从 ec2 实例运行时有效，并且仅在作为 EMR 步骤运行时出现问题。(尝试自动化(以下是一些手动工作但不在步骤 def 中的代码片段。

1：创建记录器

import os, sys, boto3
import logging, datetime
import Configuration as cfg
# setup logger for this module
logger = logging.getLogger(__name__)
logger.setLevel(logging.INFO)
formatter = logging.Formatter(cfg.logFormatterStr)
logFileName = os.path.splitext(os.path.basename(__file__))[0] + '_' + 
datetime.datetime.now().strftime('%Y%m%d_%H%M%S.log')
file_handler = logging.FileHandler(logFileName)
file_handler.setFormatter(formatter)
logger.addHandler(file_handler)

2：我们下载对象。

for pre in prefixes:
for obj in SB.objects.filter(Prefix=pre):
if '.' in obj.key:
temp = obj.key.split('/')
objList.append((obj.key,temp[-1]))
for item in objList:
SB.download_file(item[0],os.getenv("HOME") + '/' + item[1])
logger.info('Downloaded - %s' % item[0])
objList[:] = []

3：然后我们尝试使用 os.system 来执行 chmod 命令以及 mkdir 和 mv

os.system('chmod 775 *.py')
# Move HQL files to a subfolder
os.system('mkdir -p hive')
os.system('mv -f *.hql hive')

步骤 2 有效。 文件将下载到 EC2 实例。 由于某种原因，永远不会写入或创建日志文件。我们得到所有 os.system 命令的错误。

chmod: cannot access ‘*.py’: No such file or directory
mv: cannot stat ‘*.hql’: No such file or directory

(我们非常确定 *.hql 和 *.py 周围的不寻常字符是亚马逊记录报价的一些问题。

Answer 1

我的一位团队成员设法排除故障并找到他的错误。他在下面对其他的陈述：

我的脚本位于/home/hadoop 下。当我将该脚本作为 EMR 步骤运行时(在/home/hadoop 中使用文件位置的参数(，该脚本在不同的目录下运行(/mnt/var/lib/hadoop/steps/{ unique-step-ID } (。 由于运行的脚本正在/home/hadoop 下查找文件，因此找不到它，并且似乎是一个权限问题。