我刚刚创建了一个python脚本,它:
- 导入一些模块,如请求,熊猫和雪花。
- 从 API 读取数据
- 使用熊猫操作数据
- 将数据保存为 CSV 文件本地
- 连接到雪花(数据库)并将数据加载到那里
- 脚本完成后,我不再需要CSV文件(它将在下次运行时重新创建)
现在我需要一个好的(无服务器/云)服务,我可以每小时运行一次脚本。
我是这种 Python 编码的新手,更不用说使用无服务器功能了。
我希望有一些简单的事情,比如上传我的单个.py文件,设置时间表(甚至是cron命令),然后坐下来观看数据流到Snowflake。
有人可以为此推荐最佳解决方案/配置吗?
这个问题没有单一的答案。
您可以使用 Amazon CloudWatch Events 通过 cronjob 表达式触发您的 Lambda 函数:https://docs.aws.amazon.com/lambda/latest/dg/with-scheduled-events.html
您可以使用无服务器框架来简化它:https://serverless.com/
Lambda 函数的执行时间限制为 15 分钟,如果您需要更多时间,那么您可以查看 https://aws.amazon.com/batch/或 https://aws.amazon.com/fargate/