使用 Python 定期收集关系数据并添加到数据库中



>我有一个项目:

  • 从活动目录获取数据
  • 根据活动目录数据从不同的服务获取数据
  • 聚合数据
  • 每 15 分钟必须将大约 50000 行添加到数据库中

我正在使用Postgresql作为数据库,django作为ORM工具。但我不确定 django 是否适合此类项目。我必须删除并添加 50000 行数据,我担心性能。 有没有其他方法可以完成这样的过程?

50k 行/15m 没什么可担心的。

但是我会确保使用bulk_create以避免 50k 的数据库往返,这可能是一个问题,具体取决于您的数据库网络设置。

当然还有其他方法,如果这是你要问的。但是Django ORM总体上非常灵活,如果你仔细编写查询,就不会有明显的开销。15 分钟内 50000 行还不够大。我正在使用Django ORM和PostgreSQL每天处理数百万条记录。

你可以为此编写一个自定义的 Django 管理命令,然后像

python manage.py collectdata

这是文档链接

最新更新