在 AWS 上按顺序激活 2 个或更多数据管道的最佳方法是什么?



我有两个不同的管道(A和B(。当A终止时,我想立即启动第二个(B(。

到目前为止,为了完成此操作,我使用以下命令添加了一个ShellCommandActivity

aws datapipeline activate-pipeline --pipeline-id <my pipeline id>

还有其他更好的方法吗?

您可以使用指标文件(零字节文件(和 Lambda 的组合来松散耦合两个数据管道。您需要进行以下更改 -

数据管道 - 使用 shell 命令触摸零字节文件作为任何给定 s3 路径中数据管道的最后一步

创建一个 lambda 函数来监视指标文件并激活数据管道2

注意 - 如果您正在查看仅按顺序执行两个数据管道的简单方案,这可能不是很有帮助。但是,如果要在管道之间创建复杂的依赖项,即您有一组暂存作业(每个作业对应一个管道(,并且希望在所有暂存作业完成后触发数据集市作业或派生表作业,这会很有帮助。

最新更新