使用Python将第三方api的pull和push自动化到AWS RDS SQL中

Question

我编写了一个Python脚本，它将从第三方API提取数据并将其推送到我在AWS RDS中设置的SQL表中。我想自动化这个脚本，使它每天晚上运行(例如，脚本将只需要一分钟运行)。我需要找到一个好地方和方法来设置这个脚本，以便它每天晚上运行。

我可以设置一个EC2实例，并在该实例上运行一个cron作业，并从那里运行它，但是让EC2实例整天都处于活动状态，每晚只有1分钟的运行时间似乎很昂贵。AWS数据管道是否可以用于此目的?还有其他更好的选择吗?

(我在谷歌上看到过类似的话题，但没有看到最近的答案。)

谢谢

Answer 1

根据您的情况，我认为您可以尝试在数据管道中使用shellCommandActivity。它将启动一个ec2实例，并按照您的时间表执行您给数据管道的命令。完成任务后，管道将终止ec2实例。

doc:

http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-shellcommandactivity.html

http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-ec2resource.html

Answer 2

或者，您可以使用第三方服务，如Crono。Crono是一个简单的REST API，以编程方式管理基于时间的作业。