uniq
Czy istnieje sposób na "uniq" przez kolumnę?
Mam .plik csv w ten sposób:
[email protected],2009-11-27 01:05:47.893000000,example.net,127.0.0.1
[email protected],200 ... u 1 (oddzielonym przecinkami)? Według man, uniq nie ma opcji dla kolumn.
Próbowałem czegoś z sort | uniq, ale to nie działa.
Usuń zduplikowane linie bez sortowania [duplicate]
to pytanie ma już odpowiedzi tutaj :
... rów w rurze?
Powód pytania: potrzeba tej funkcjonalności w systemie, na którym nie mogę wykonać Pythona z dowolnego miejsca.
Sortowanie & uniq w powłoce Linuksa
Jaka jest różnica między poniższymi poleceniami?
sort -u FILE
sort FILE | uniq
Korzystając z Hadoop, czy moje reduktory gwarantują uzyskanie wszystkich rekordów z tym samym kluczem?
Uruchamiam zadanie Hadoop przy użyciu Hive, które ma być uniq linijkami w wielu plikach tekstowych. W kroku redukcja wybiera ... astrze?
Obawiam się, że wyjście mappera może być podzielone po shuffle dzieje się w środku zestawu rekordów z ten sam klucz.