AWS Glue 自动创建作业

Question

我有可以在AWS GLUE中运行的pyspark脚本。但是每次我从 UI 创建作业并将我的代码复制到作业中时.无论如何，我可以从 s3 存储桶中的文件自动创建作业。（我有所有将在运行时使用的库和胶水上下文）

Answer 1

另一种选择是使用 AWS CloudFormation。您可以在模板文件中定义要创建的所有 AWS 资源（不仅是 Glue 作业），然后在需要时从 AWS 控制台或使用 CLI 更新堆栈。

粘附作业的模板如下所示：

  MyJob:
    Type: AWS::Glue::Job
    Properties:
      Command:
        Name: glueetl
        ScriptLocation: "s3://aws-glue-scripts//your-script-file.py"
      DefaultArguments:
        "--job-bookmark-option": "job-bookmark-enable"
      ExecutionProperty:
        MaxConcurrentRuns: 2
      MaxRetries: 0
      Name: cf-job1
      Role: !Ref MyJobRole # reference to a Role resource which is not presented here

Answer 2

我创建了一个名为datajob的开源库来部署和编排胶水作业。你可以在github https://github.com/vincentclaes/datajob 和pypi上找到它

。

pip install datajob
npm install -g aws-cdk@1.87.1

创建一个文件datajob_stack.py，用于描述粘附作业及其编排方式：

from datajob.datajob_stack import DataJobStack
from datajob.glue.glue_job import GlueJob
from datajob.stepfunctions.stepfunctions_workflow import StepfunctionsWorkflow

with DataJobStack(stack_name="data-pipeline-simple") as datajob_stack:
    # here we define 3 glue jobs with a relative path to the source code.
    task1 = GlueJob(
        datajob_stack=datajob_stack,
        name="task1",
        job_path="data_pipeline_simple/task1.py",
    )
    task2 = GlueJob(
        datajob_stack=datajob_stack,
        name="task2",
        job_path="data_pipeline_simple/task2.py",
    )
    task3 = GlueJob(
        datajob_stack=datajob_stack,
        name="task3",
        job_path="data_pipeline_simple/task3.py",
    )
    # we instantiate a step functions workflow and add the sources
    # we want to orchestrate. 
    with StepfunctionsWorkflow(
        datajob_stack=datajob_stack, name="data-pipeline-simple"
    ) as sfn:
        [task1, task2] >> task3

要将代码部署到粘附，请执行：

export AWS_PROFILE=my-profile    
datajob deploy --config datajob_stack.py

任何反馈都非常感谢！

Answer 3

是的，这是可能的。例如，您可以使用 boto3 框架来实现此目的。

https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/glue.html#Glue.Client.create_job

https://docs.aws.amazon.com/glue/latest/dg/aws-glue-programming-python-calling.html

Answer 4

我编写了如下脚本：

1. 我们有（胶水）_dependency.txt文件，脚本获取所有依赖项文件的路径并创建zip文件。
2. 它通过使用 s3 同步在 S3 中上传粘附文件和 zip 文件
3. （可选）如果作业设置发生任何更改，将重新部署云形成模板

你可以编写 shell 脚本来做到这一点。