>我有一个项目:
- 从活动目录获取数据
- 根据活动目录数据从不同的服务获取数据
- 聚合数据
- 每 15 分钟必须将大约 50000 行添加到数据库中
我正在使用Postgresql作为数据库,django作为ORM工具。但我不确定 django 是否适合此类项目。我必须删除并添加 50000 行数据,我担心性能。 有没有其他方法可以完成这样的过程?
50k 行/15m 没什么可担心的。
但是我会确保使用bulk_create以避免 50k 的数据库往返,这可能是一个问题,具体取决于您的数据库网络设置。
当然还有其他方法,如果这是你要问的。但是Django ORM总体上非常灵活,如果你仔细编写查询,就不会有明显的开销。15 分钟内 50000 行还不够大。我正在使用Django ORM和PostgreSQL每天处理数百万条记录。
你可以为此编写一个自定义的 Django 管理命令,然后像
python manage.py collectdata
这是文档链接