自动执行从命令行(通过 AWS)运行的进程的最佳方式



我正在开发一个 Web 应用程序,以使用 AWS 将软件作为基于 Web 的服务提供,但我坚持实施。

我将使用内容管理系统(可能是Joomla(来管理用户登录和前端任务,例如接收文件上传作为输入。提供服务的程序需要从命令行运行。但是,我不确定自动化此过程(收到输入文件后启动程序(的最佳方法是什么。这是一个密集的程序,每个程序至少需要一个小时,如果任何时候有多个输入,则应按顺序运行,因此需要一个队列,队列中的每个元素都记录输入文件的文件路径,输出文件夹的文件路径, 理想情况下,当工作完成时向其发送通知的电子邮件。

我已经研究了 Amazon Data Pipeline 和 AWS Simple Workflow Service,以及 Simple Queue Services 和 Simple Notification Services,但我仍然不确定如何使用这些来触发流程的启动,从上传的输入文件开始。

任何帮助将不胜感激!

有许多

方法可以构建这种类型的流程; 这里有一种方法可以工作:

  1. 在上传时,将文件上传到 S3 存储桶,以便以后任何实例都可以访问它。

  2. 在上传过程中,向 SQS 队列发送一条消息,其中包括上传文件的存储桶/密钥以及上传该文件的用户的电子邮件。

  3. 无论是使用 Lambda 还是使用专用实例上的 cron 进程,请检查 SQS 队列并处理每个请求。

  4. 进入处理阶段,在流程完成后向用户添加电子邮件通知。

绝对可以使用数据管道来自动执行此过程。

查看托管前提条件和以下示例。

http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-concepts-preconditions.htmlhttps://github.com/awslabs/data-pipeline-samples/tree/master/samples

相关内容

  • 没有找到相关文章

最新更新