我正在处理一个数据集，该数据集包含2008年至2021年间收集的222232726条目。由于无法从数据库中删除原始条目，因此必须创建具有相同ID的新条目才能更新观测。我想删除所有重复的ID，只留下每个ID的最新条目用于我的分析。我在Tableau中使用了以下详细级别函数来实现这一点：{FIXED [ID]: MAX([Date])} = [Date]函数总共返回17980416个条目。但是，当我在应用LOD过滤器前后运行不同计数COUNTD([ID])时，我会得到17899956不同ID。为什么我的LOD函数会向结果返回额外的80460重复ID？仅供参考，ID和Date列中都没有Null。因此，同一ID可能会有重复的日期，但我希望Tableau在结果中只保留其中一个。如何删除这些额外重复的条目或解决此计数问题？
我最终找到了问题的解决方案，使用Row_ID字段作为选择ID和Date相同的记录之一的标准。我使用了2个LOD计算作为过滤器。
第一个过滤器保留了所有具有最新日期的唯一ID，包括一些具有相同最新日期重复的ID。
1:{FIXED [ID]: MAX([Date])} = [Date]
第二个过滤器取ID和Date相同的重复记录，只保留最后一个Row_ID的记录。
2:{FIXED [ID],[Date]: MAX([Row_ID])}=[Row_ID]
原始数据集没有Row_ID变量，所以我不得不在Python中使用Pandas创建它，添加index和index_label参数：
df.to_csv("my-file-name.csv", index=True, index_label='Row_ID')