API更新项目的最佳方法



我在一个个人项目中工作,从Sendinblue Api(CRM服务(中分割一些数据。基本上,我试图实现的是根据每个用户的电子邮件行为为其生成一个新的分数属性。对于这个提议,我计划的过程如下:

  1. 从API获取数据
  2. 存储在数据库中
  3. 用Python分析和分割数据
  4. 每24小时在Sendin中创建和更新分数属性

Api的速率限制为每分钟400个请求,我们现在谈论的是10万个寄存器,这意味着我必须花费大约3个小时才能获得所有初始数据(目前我正在使用并发期货进行多处理(。之后,我将计划只存储和更新那些进行更改的寄存器。我想知道这是否是最好的方法,以及哪些工具组合更适合这份工作。

现在我所有的脚本都在Jupyter笔记本上,我最近完成了我的第一个Django项目,所以我不知道我是需要一个Django应用程序来完成这个项目,还是只需要简单地将笔记本连接到数据库(PostgreSQL?(,如果最后一个可以,我必须学习哪个库来每24小时运行一次脚本。(我是个初学者(。谢谢

我认为你不需要Django,除非你想要一个web来查看你的数据。即便如此,您也可以编写任何web应用程序来使用任何框架/语言查看统计数据。所以我认为方法更简单:

  1. 创建您的python项目,入口点主函数将执行逻辑从API获取数据。完成后,您可以启动逻辑进行分析和统计,然后将结果保存到数据库中
  2. 如果您可以通过SQL查询查看最终结果,则不需要构建web应用程序。否则,您可能需要构建一个小型web应用程序,从数据库中提取数据,以查看图表中的统计信息或以任何喜欢的格式导出
  3. 设置一个linux cron作业,在#1执行python代码,并让它在您想要的特定时间每24小时运行一次。链接:https://phoenixnap.com/kb/set-up-cron-job-linux

相关内容

  • 没有找到相关文章

最新更新