Tìm bản ghi trùng lặp trong MongoDB

Làm cách nào để tìm các trường trùng lặp trong bộ sưu tập mongo.

Tôi muốn kiểm tra xem có bất kỳ trường "tên" nào trùng lặp không.

{
    "name" : "ksqn291",
    "__v" : 0,
    "_id" : ObjectId("540f346c3e7fc1054ffa7086"),
    "channel" : "Sales"
}

Cảm ơn nhiều!

Sử dụng tổng hợp trên namevà nhận namevới count > 1:

db.collection.aggregate(
    {"$group" : { "_id": "$name", "count": { "$sum": 1 } } },
    {"$match": {"_id" :{ "$ne" : null } , "count" : {"$gt": 1} } }, 
    {"$project": {"name" : "$_id", "_id" : 0} }
)

Để sắp xếp kết quả theo nhiều nhất đến ít trùng lặp nhất:

db.collection.aggregate(
    {"$group" : { "_id": "$name", "count": { "$sum": 1 } } },
    {"$match": {"_id" :{ "$ne" : null } , "count" : {"$gt": 1} } }, 
    {"$sort": {"count" : -1} },
    {"$project": {"name" : "$_id", "_id" : 0} }     
)

Để sử dụng với tên cột khác không phải "name", hãy đổi " $ name " thành " $ column_name "

Bạn có thể tìm ra listcác duplicatetên bằng cách sử dụng sau đây aggregateđường ống:

• Grouptất cả các bản ghi có tương tự name.
• Matchnhững người groupscó hồ sơ lớn hơn 1.
• Sau đó, groupmột lần nữa cho projecttất cả các tên trùng lặp dưới dạng một array.

Mật mã:

db.collection.aggregate([
{$group:{"_id":"$name","name":{$first:"$name"},"count":{$sum:1}}},
{$match:{"count":{$gt:1}}},
{$project:{"name":1,"_id":0}},
{$group:{"_id":null,"duplicateNames":{$push:"$name"}}},
{$project:{"_id":0,"duplicateNames":1}}
])

o / p:

{ "duplicateNames" : [ "ksqn291", "ksqn29123213Test" ] }

Câu trả lời mà anhic đưa ra có thể rất kém hiệu quả nếu bạn có một cơ sở dữ liệu lớn và tên thuộc tính chỉ có trong một số tài liệu.

Để nâng cao hiệu quả, bạn có thể thêm $ match vào tổng hợp.

db.collection.aggregate(
    {"$match": {"name" :{ "$ne" : null } } }, 
    {"$group" : {"_id": "$name", "count": { "$sum": 1 } } },
    {"$match": {"count" : {"$gt": 1} } }, 
    {"$project": {"name" : "$_id", "_id" : 0} }
)

db.getCollection('orders').aggregate([  
    {$group: { 
            _id: {name: "$name"},
            uniqueIds: {$addToSet: "$_id"},
            count: {$sum: 1}
        } 
    },
    {$match: { 
        count: {"$gt": 1}
        }
    }
])

Nhóm đầu tiên Truy vấn nhóm theo các trường.

Sau đó, chúng tôi kiểm tra Id duy nhất và đếm nó, Nếu số lượng lớn hơn 1 thì trường đó là trùng lặp trong toàn bộ tập hợp để thứ đó sẽ được xử lý bởi truy vấn $ match.