Boto3 Glue客户端create_job()模块路径错误' ModuleNotFoundError '

Question

我试图使用boto3客户端create_job()创建一个Glue作业，这是脚本:

job = client.create_job(Name=xxx,
Role=xxx,
Command={
'Name': 'glueetl',
'ScriptLocation': 's3://my_bucket_name/my_project_name/src/glue.py',
'PythonVersion': '3'},
DefaultArguments={
'--job-language': 'python',
'--extra-py-files': 's3://my_bucket_name/my_project_name/src/test.zip',
'--conf': 'spark.yarn.executor.memoryOverhead=7g --conf spark.jars.packages=xxx',
},
ExecutionProperty={
'MaxConcurrentRuns': 1
},
GlueVersion='1.0'
)

test.zip中的结构为:__init__.py文件+ 'glue.py'文件(与ScriptLocation中指定的文件重复)+example.py

在'glue.py'里面，我有import example，然后工作失败了，错误是"ErrorMessage":"ModuleNotFoundError: No module named 'example'"。

我试过from test import example但不工作，我很困惑，卡在这里，胶水如何读取和导入模块?我需要设置什么吗?有人能帮忙吗?多谢。

Answer 1

_init_.py不正确． 应该是__init__.py(双下划线)，详见AWS文档。