法尔盖特,Lambda,另一种选择?我该将什么用于自定义 Python 作业



我刚刚创建了一个python脚本,它:

  • 导入一些模块,如请求,熊猫和雪花。
  • 从 API 读取数据
  • 使用熊猫操作数据
  • 将数据保存为 CSV 文件本地
  • 连接到雪花(数据库)并将数据加载到那里
  • 脚本完成后,我不再需要CSV文件(它将在下次运行时重新创建)

现在我需要一个好的(无服务器/云)服务,我可以每小时运行一次脚本。

我是这种 Python 编码的新手,更不用说使用无服务器功能了。

我希望有一些简单的事情,比如上传我的单个.py文件,设置时间表(甚至是cron命令),然后坐下来观看数据流到Snowflake。

有人可以为此推荐最佳解决方案/配置吗?

这个问题没有单一的答案。

您可以使用 Amazon CloudWatch Events 通过 cronjob 表达式触发您的 Lambda 函数:https://docs.aws.amazon.com/lambda/latest/dg/with-scheduled-events.html

您可以使用无服务器框架来简化它:https://serverless.com/

Lambda 函数的执行时间限制为 15 分钟,如果您需要更多时间,那么您可以查看 https://aws.amazon.com/batch/或 https://aws.amazon.com/fargate/

相关内容

  • 没有找到相关文章