如何确保kdb分区表数据不重复



我创建了一个分区数据库,它从日常存储的文件中获取数据。它工作得很好,但我担心如果我用同一天的文件运行分区脚本两次,kdb可能会添加重复的行。

我应该使用'key'来检查是否存在分区表,还是有一种更简单的方法来确保kdb不会复制存储的数据?

我不确定你的问题是1)你害怕你会加载相同的文件不止一次,或者2)多个文件可能包含相同的数据,所以你不希望后续加载创建重复。

对于1),如果您用于创建DB的每日存储文件没有更新到并且具有唯一的名称,那么您可能会跟踪哪些文件已经加载,并在后续运行中跳过这些文件。

2)即使你不能对表进行物理键,你也可能有某些"键"列,例如:sym、date、time、side等。您可以检查当前正在加载的块的"key"值是否已经出现在date分区中。如果他们这样做,删除这些记录,同时保留其他记录。

最新更新