我正在编写一个需要从网站抓取数据的项目，我正在使用pyspider，它每24小时自动运行一次(每24小时抓取一次数据(。问题是，在将新数据条目写入 dB 之前，我想将新数据与 dB 中的现有数据进行比较。
- 有我可以使用的工具/库吗？
- 我正在 AWS 上运行我的项目，我可以使用什么最好的工具来使用 aws？
- 我的想法是为数据设置一些规则以更新/插入到 dB 中，但是当新数据以某种方式与规则冲突时，我将能够查看数据/抓取日志(工具会将其标记为待处理(并等待管理员进行进一步操作。
提前谢谢。
[数据比较、同步和迁移工具列表。https://dbmstools.com/categories/data-compare-tools
访问那里。可能会有所帮助