Jak usunąć duplikaty na podstawie klucza w Mongodb?

Jest to najprostsze zapytanie, którego użyłem na moim MongoDB 3.2

db.myCollection.find({}, {myCustomKey:1}).sort({_id:1}).forEach(function(doc){
    db.myCollection.remove({_id:{$gt:doc._id}, myCustomKey:doc.myCustomKey});
})

Zindeksuj swój customKey przed uruchomieniem, aby zwiększyć prędkość

Usuń duplikaty przez framework agregacji .

A. Jeśli chcesz usunąć za jednym razem.

var duplicates = [];

db.collectionName.aggregate([
  // discard selection criteria, You can remove "$match" section if you want
  { $match: { 
    source_references.key: { "$ne": '' }  
  }},
  { $group: { 
    _id: { source_references.key: "$source_references.key"}, // can be grouped on multiple properties 
    dups: { "$addToSet": "$_id" }, 
    count: { "$sum": 1 } 
  }}, 
  { $match: { 
    count: { "$gt": 1 }    // Duplicates considered as count greater than one
  }}
])               // You can display result until this and check duplicates 
.forEach(function(doc) {
    doc.dups.shift();      // First element skipped for deleting
    doc.dups.forEach( function(dupId){ 
        duplicates.push(dupId);   // Getting all duplicate ids
        }
    )    
})

// If you want to Check all "_id" which you are deleting else print statement not needed
printjson(duplicates);     

// Remove all duplicates in one go    
db.collectionName.remove({_id:{$in:duplicates}})

B. możesz usuwać dokumenty jeden po drugim.

db.collectionName.aggregate([
  // discard selection criteria, You can remove "$match" section if you want
  { $match: { 
    source_references.key: { "$ne": '' }  
  }},
  { $group: { 
    _id: { source_references.key: "$source_references.key"}, // can be grouped on multiple properties 
    dups: { "$addToSet": "$_id" }, 
    count: { "$sum": 1 } 
  }}, 
  { $match: { 
    count: { "$gt": 1 }    // Duplicates considered as count greater than one
  }}
])               // You can display result until this and check duplicates 
.forEach(function(doc) {
    doc.dups.shift();      // First element skipped for deleting
    db.collectionName.remove({_id : {$in: doc.dups }});  // Delete remaining duplicates
})

Podczas gdy @Stennie ' S jest poprawną odpowiedzią, nie jest to jedyny sposób. W rzeczywistości Podręcznik MongoDB prosi, abyś był bardzo ostrożny podczas robienia tego. Istnieją dwie inne opcje

1. niech MongoDB zrobi to za Ciebie używając Map Reduce
   • Another way
2. robisz programowo co jest mniej efektywne.

Oto nieco bardziej "ręczny" sposób na zrobienie tego:

Zasadniczo najpierw uzyskaj listę wszystkich unikalnych kluczy, które Cię interesują.

Następnie wykonaj wyszukiwanie za pomocą każdego z tych klawiszy i usuń, jeśli wyszukiwanie zwróci większe niż jeden.

    db.collection.distinct("key").forEach((num)=>{
      var i = 0;
      db.collection.find({key: num}).forEach((doc)=>{
        if (i)   db.collection.remove({key: num}, { justOne: true })
        i++
      })
    });

Pip install mongo_remove_duplicate_indexes

1. tworzenie skryptu w dowolnym języku
2. iteruj nad swoją kolekcją
3. Utwórz nową kolekcję i utwórz nowy indeks w tej kolekcji z unikalnym ustawieniem na true, pamiętaj ten indeks musi być taki sam jak indeks U chcesz usunąć duplikaty z oryginalnej kolekcji o tej samej nazwie dla ex-u mają kolekcję gier, a w tej kolekcji u mają pole gatunek, który zawiera duplikaty, które u chcą usunąć, więc po prostu utworzyć nowy kolekcja db.createCollection ("cname") utwórz nowy indeks db.cname.createIndex({'genre':1}, unikalnych:1) teraz, gdy u wstawi dokument o podobnym gatunku, tylko pierwszy zostanie zaakceptowany, inny zostanie odrzucony z błędem klucza duplicae
4. Teraz wystarczy wstawić wartości formatu json u otrzymane do nowej kolekcji i obsłużyć wyjątek za pomocą obsługi wyjątków dla ex pymongo.błędy.DuplicateKeyError

Sprawdź kod źródłowy pakietu dla mongo_remove_duplicate_indexes dla lepszego zrozumienie

Jeśli masz wystarczająco dużo pamięci, możesz w Scali zrobić coś takiego:

cole.find().groupBy(_.customField).filter(_._2.size>1).map(_._2.tail).flatten.map(_.id)
.foreach(x=>cole.remove({id $eq x})