仅将唯一数据插入数据库,并将新数据导出到csv



所以,我有一个本地办公室,每天从他们的位置向我们发送一份新订户的列表。但是,他们不只是发送新数据,而是发送一个csv,我认为这是最后25000条记录——我猜店员只是点击了一些默认选项。我有一个简单的python脚本,它将这些数据插入到本地mysqldb中,并将sub_id设置为唯一索引以防止重复。然而,我的问题是,我必须将新的订户数据发送到另一个团队。我想把这个功能添加到现有的python脚本中,我能想到的解决方案是添加一个";NEW";插入数据库时的状态,然后导出所有带有"的行;NEW";状态,然后更新";NEW";状态为";出口";。我觉得这没效率-有更好的方法吗?

向表中添加一个created_at时间戳,并用大于进程启动时的created_at发送所有内容。这是最稳健的选择,也为数据库添加了一些信息,这些信息稍后可能会有用;你可以算出哪一行是由哪一个导入生成的。

或者,让Python脚本记住它插入的每一行的ID。然后只选择那些行。

或者,让Python脚本在插入数据时构建报告。

最新更新