是否可以在实例运行时修改 AWS Glue 脚本



这更像是一个一般性的问题,我无法找到答案。

  1. 是否可以在实例 ID 运行时修改 AWS Glue 脚本。
  2. 脚本的编辑是否会影响第一个实例的执行。比如,第一个实例是否会继续执行旧代码的副本。还是第一个实例将使用新版本的代码。

当多个开发人员共享粘附作业以执行其脚本时,会出现此问题。

当您运行 Glue ETL 作业时,它会按指定顺序执行以下操作

  1. 在后端启动请求数量的 DPU
  2. 从 S3 路径下载 ETL 脚本。
  3. 使用 spark-submit 命令在 Spark 环境中执行 ETL 脚本

因此,为了回答您的问题,

  1. 是的,您可以在粘附作业执行其作业运行时编辑该作业的脚本
  2. 否,它不会影响已运行的作业实例的执行

相关内容

  • 没有找到相关文章

最新更新