在python中写入然后修改CSV文件



我正在运行一个将火车信息保存到文本文件中的网络爬虫。此信息会不断更新,因此我每分钟访问一次此页面(并立即保存所有信息(。

每列火车都有一个目的地(城市名称(、一个到期日和一个延误(0 表示准时,-x 表示早 x 分钟,x 表示晚点 x 分钟(。

延迟可能会每分钟更新,发生这种情况时,我需要返回并编辑文件中的行,该行对应于发生更改的火车。我担心的主要事情是,无论我以何种格式存储文件,我都不确定如何返回并轻松识别正确的行(并找到正确的行,即使可能存在重复项(,因为这些信息都不是识别行的唯一。我想到了以下解决方案:

  1. 为每个行号(或 id 等(添加一个行号,并将它们存储在 python 的内部缓冲区中,然后通过此数字标识行。
  2. 通过某种算法使用时间和位置创建一个唯一 ID,并使用它来标识列。
  3. 使用数据库(紧急(

您认为哪一个是最好的,我应该采用哪种格式才能使它成为最好的?我在想.csv,但除非有一个解析器可以做一些类似于"加载文件 ->找到第 i 条记录 -> 将列 [x] 设置为某物 ->保存文件",否则我不确定是否有任何意义。

SQLite将是一个不错的选择。 它是一种简单的基于文件的存储机制(如 CSV(,但您可以使用 SQL 命令修改特定值,而无需重写整个文件。

https://www.sqlite.org/index.html

最新更新