Chcę tylko dodać do odpowiedzi Bena na drop_duplikaty :

keep : {'first', 'last', False}, default 'first'

• Po pierwsze: upuść duplikaty z wyjątkiem pierwszego wystąpienia.

• Ostatni: duplikaty upuszczania z wyjątkiem ostatniego wystąpienia.

• False: wyrzuć wszystkie duplikaty.

Więc ustawienie keep Na False da ci żądaną odpowiedź.

DataFrame.drop_duplicates (*args, * * kwargs) Return DataFrame z zduplikowane wiersze usunięte, opcjonalnie tylko biorąc pod uwagę niektóre kolumny

Parametry: podzbiór: etykieta kolumny lub Sekwencja etykiet, opcjonalnie Domyślnie należy wziąć pod uwagę tylko niektóre kolumny do identyfikacji duplikatów użyj wszystkich kolumn keep: {'first',' last', False}, default "first" first: upuść duplikaty z wyjątkiem pierwszego wystąpienia. ostatni : Upuść duplikaty z wyjątkiem ostatniego wystąpienia. False : Drop all duplikaty. take_last : deprecated inplace : boolean, default False Czy wrzucić duplikaty na miejsce czy zwrócić kopię: kwargs jedyny argument podzbioru [deprecated] zwraca: deduplicated : DataFrame

Jeśli chcesz, aby wynik był przechowywany w innym zbiorze danych:

df.drop_duplicates(keep=False)

Lub

df.drop_duplicates(keep=False, inplace=False)

Jeśli ten sam zbiór danych wymaga aktualizacji:

df.drop_duplicates(keep=False, inplace=True)

Powyższe przykłady usuną wszystkie duplikaty i zachowają jeden, podobny do DISTINCT * w SQL

Użyj groupby i filter

import pandas as pd
df = pd.DataFrame({"A":["foo", "foo", "foo", "bar"], "B":[0,1,1,1], "C":["A","A","B","A"]})
df.groupby(["A", "C"]).filter(lambda df:df.shape[0] == 1)

W rzeczywistości, spadek wierszy 0 i 1 wymaga tylko (wszelkie obserwacje zawierające dopasowane a i C są przechowywane.):

In [335]:

df['AC']=df.A+df.C
In [336]:

print df.drop_duplicates('C', take_last=True) #this dataset is a special case, in general, one may need to first drop_duplicates by 'c' and then by 'a'.
     A  B  C    AC
2  foo  1  B  fooB
3  bar  1  A  barA

[2 rows x 4 columns]

Ale podejrzewam, że naprawdę chcesz tego (jedna obserwacja zawierająca dopasowane A I C jest zachowana.):

In [337]:

print df.drop_duplicates('AC')
     A  B  C    AC
0  foo  0  A  fooA
2  foo  1  B  fooB
3  bar  1  A  barA

[3 rows x 4 columns]

Edit:

Teraz jest znacznie jaśniejsze, dlatego:

In [352]:
DG=df.groupby(['A', 'C'])   
print pd.concat([DG.get_group(item) for item, value in DG.groups.items() if len(value)==1])
     A  B  C
2  foo  1  B
3  bar  1  A

[2 rows x 3 columns]

Spróbuj tych różnych rzeczy

df = pd.DataFrame({"A":["foo", "foo", "foo", "bar","foo"], "B":[0,1,1,1,1], "C":["A","A","B","A","A"]})

>>>df.drop_duplicates( "A" , keep='first')

Lub

>>>df.drop_duplicates( keep='first')

Lub

>>>df.drop_duplicates( keep='last')