从MongoDB中删除重复项，但MongoDB db.collection.find()返回空结果

Question

如何从MongoDB中删除重复项？但是MongoDB db.collection.find((看起来根本不起作用。

法典

start_date = "2020-05-00"
end_date = "2020-07-00"
collection.create_index([('text', 'text')])
df = pd.DataFrame(list(collection.find({"$text": 
{"$search": "ACTIVE - ACT 06"},
"datetime": {
"$gte": start_date+"T00:00:00.000Z",
"$lt": end_date+"T00:00:00.000Z"
}},
{"_id":1, "datetime":1,"name":1})))

示例重复数据。我想确保每个日期的名称都是唯一的(忽略时间(。

{
"datetime": "2020-05-03 06:43:52",
"name": "ACTIVE - ACT 06"
},
{
"datetime": "2020-05-03 06:44:01",
"name": "ACTIVE - ACT 05"
},
{
"datetime": "2020-05-03 07:43:52",
"name": "ACTIVE - ACT 06"
},
{
"datetime": "2020-05-03 07:44:01",
"name": "ACTIVE - ACT 05"
},
{
"datetime": "2020-05-03 08:43:52",
"name": "ACTIVE - ACT 06"
},
{
"datetime": "2020-05-03 08:44:01",
"name": "ACTIVE - ACT 05"
}

移除后。仅保存较早的记录。

{
"datetime": "2020-05-03 06:43:52",
"name": "ACTIVE - ACT 06"
},
{
"datetime": "2020-05-03 06:44:01",
"name": "ACTIVE - ACT 05"
}

Answer 1

你可以像这样使用聚合框架：

1. 首先列出重复数据。
2. 然后，将其一一删除。

db.collection.aggregate([
{
$group: {
_id: "$name",
dups: {
$push: "$_id"
},
count: {
$sum: 1
}
}
},
{
$match: {
count: {
$gt: 1
}
}
}
]).forEach(function(doc){
db.collection.remove({
_id: {
$in: doc.dups
}
});
})