Szybki sposób znajdowania linii w jednym pliku, których nie ma w innym?

Możesz to osiągnąć kontrolując formatowanie starych/nowych / niezmienionych linii w GNU diff wyjście:

diff --new-line-format="" --unchanged-line-format=""  file1 file2

Pliki wejściowe powinny być posortowane aby to zadziałało. Z bash (i zsh) można sortować w miejscu z substytucją procesu <( ):

diff --new-line-format="" --unchanged-line-format="" <(sort file1) <(sort file2)

W powyższym nowe i niezmienione linie są tłumione, więc tylko zmienione (tzn. usunięte linie w Twoim przypadku) są wyprowadzane. Możesz również użyć kilku opcji diff, które Inne rozwiązania nie oferują, takie jak -i ignorowanie wielkości liter lub różne opcje białych znaków (-E, -b, -v itp.) dla mniej ścisłego dopasowania.

Wyjaśnienie

Opcje --new-line-format, --old-line-format i --unchanged-line-format pozwala kontrolować sposób formatowania różnic, podobny do specyfikacji formatu printf. Opcje te formatują odpowiednio nowe (dodane), stare (usunięte) i niezmienione linie. Ustawienie jedynki na pustą "" uniemożliwia wyjście tego typu linii.

Jeśli znasz format unified diff , możesz częściowo odtworzyć go za pomocą:

diff --old-line-format="-%L" --unchanged-line-format=" %L" \
     --new-line-format="+%L" file1 file2

Metoda diff (wraz z inne sugestie comm i join) generują oczekiwane dane wyjściowe tylko z posortowanym wejściem, chociaż możesz użyć <(sort ...) do sortowania w miejscu. Oto prosty skrypt awk (nawk) (zainspirowany skryptami linkowanymi w odpowiedzi Konsolebox), który akceptuje dowolnie uporządkowane pliki wejściowe, i wypisuje brakujące linie w kolejności, w jakiej występują w pliku1.

# output lines in file1 that are not in file2
BEGIN { FS="" }                         # preserve whitespace
(NR==FNR) { ll1[FNR]=$0; nl1=FNR; }     # file1, index by lineno
(NR!=FNR) { ss2[$0]++; }                # file2, index by string
END {
    for (ll=1; ll<=nl1; ll++) if (!(ll1[ll] in ss2)) print ll1[ll]
}

Zapisuje całą zawartość pliku 1 linia po linii w tablicy indeksowanej numerem linii ll1[], a cały zawartość pliku2 linia po linii w tablicy asocjacyjnej indeksowanej liniowo ss2[]. Po wczytaniu obu plików wykonaj iterację ll1 i użyj operatora in, aby określić, czy linia w pliku1 jest obecna w pliku2. (Będzie to miało inne wyjście niż metoda diff, jeśli istnieją duplikaty.)

W przypadku, gdy pliki są wystarczająco duże, że ich przechowywanie powoduje problem z pamięcią, możesz wymienić procesor na pamięć, przechowując tylko plik1 i usuwając dopasowania po drodze jako plik 2 jest odczytywany.

BEGIN { FS="" }
(NR==FNR) {  # file1, index by lineno and string
  ll1[FNR]=$0; ss1[$0]=FNR; nl1=FNR;
}
(NR!=FNR) {  # file2
  if ($0 in ss1) { delete ll1[ss1[$0]]; delete ss1[$0]; }
}
END {
  for (ll=1; ll<=nl1; ll++) if (ll in ll1) print ll1[ll]
}

Powyższy zapisuje całą zawartość pliku 1 w dwóch tablicach, jedną indeksowaną przez numer linii ll1[], jedną indeksowaną przez zawartość linii ss1[]. Następnie podczas odczytu pliku 2, Każda pasująca linia jest usuwana z ll1[] i ss1[]. Na końcu wypisywane są pozostałe linie z pliku1, zachowując pierwotną kolejność.

W tym przypadku, z zaznaczonym problemem, można również podzielić i podbić używając GNU split (filtrowanie jest rozszerzeniem GNU), powtarzane działania z fragmenty pliku1 i odczyt pliku2 za każdym razem:

split -l 20000 --filter='gawk -f linesnotin.awk - file2' < file1

Zwróć uwagę na użycie i umieszczenie - znaczenia stdin w linii poleceń gawk. Jest to dostarczane przez split z pliku 1 w kawałkach 20000 linii na wywołanie.

Dla użytkowników systemów innych niż GNU, prawie na pewno istnieje pakiet GNU coreutils, który można uzyskać, w tym na OSX jako część narzędzi Apple Xcode , które zapewniają GNU diff, awk, jednak tylko POSIX / BSD split zamiast GNU wersja.