Jak policzyć liczbę wierszy na grupę (i inne statystyki) w grupie pandy według?
Mam ramkę danych df
i używam kilku kolumn od niej do groupby
:
df['col1','col2','col3','col4'].groupby(['col1','col2']).mean()
W powyższy sposób prawie dostaję tabelę (ramkę danych), której potrzebuję. Brakuje dodatkowej kolumny, która zawiera liczbę wierszy w każdej grupie. Innymi słowy, mam średnią, ale chciałbym również wiedzieć, ile liczba została użyta do uzyskania tych środków. Na przykład w pierwszej grupie jest 8 wartości, a w drugiej 10 i tak dalej.
3 answers
W obiekcie groupby
Funkcja agg
może pobierać listę, aby zastosować kilka metod agregacji jednocześnie. To powinno dać ci wynik, którego potrzebujesz:
df[['col1', 'col2', 'col3', 'col4']].groupby(['col1', 'col2']).agg(['mean', 'count'])
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2015-05-17 03:55:35
Szybka Odpowiedź:
Najprostszym sposobem na uzyskanie liczby wierszy dla grupy jest wywołanie .size()
, które zwraca Series
:
df.groupby(['col1','col2']).size()
Zwykle chcesz, aby ten wynik był DataFrame
(zamiast Series
), więc możesz to zrobić:
df.groupby(['col1', 'col2']).size().reset_index(name='counts')
Jeśli chcesz dowiedzieć się jak obliczyć liczbę wierszy i inne statystyki dla każdej grupy Czytaj dalej poniżej.
Szczegółowy przykład:
Rozważ następujący przykład ramki danych:
In [2]: df
Out[2]:
col1 col2 col3 col4 col5 col6
0 A B 0.20 -0.61 -0.49 1.49
1 A B -1.53 -1.01 -0.39 1.82
2 A B -0.44 0.27 0.72 0.11
3 A B 0.28 -1.32 0.38 0.18
4 C D 0.12 0.59 0.81 0.66
5 C D -0.13 -1.65 -1.64 0.50
6 C D -1.42 -0.11 -0.18 -0.44
7 E F -0.00 1.42 -0.26 1.17
8 E F 0.91 -0.47 1.35 -0.34
9 G H 1.48 -0.63 -1.14 0.17
Pierwszy użyjmy .size()
aby uzyskać liczbę wierszy:
In [3]: df.groupby(['col1', 'col2']).size()
Out[3]:
col1 col2
A B 4
C D 3
E F 2
G H 1
dtype: int64
Następnie użyjmy .size().reset_index(name='counts')
aby uzyskać liczbę wierszy:
In [4]: df.groupby(['col1', 'col2']).size().reset_index(name='counts')
Out[4]:
col1 col2 counts
0 A B 4
1 C D 3
2 E F 2
3 G H 1
W Tym wyniki dla większej liczby statystyk
Gdy chcesz obliczyć statystyki na zgrupowanych danych, zwykle wygląda to tak:
In [5]: (df
...: .groupby(['col1', 'col2'])
...: .agg({
...: 'col3': ['mean', 'count'],
...: 'col4': ['median', 'min', 'count']
...: }))
Out[5]:
col4 col3
median min count mean count
col1 col2
A B -0.810 -1.32 4 -0.372500 4
C D -0.110 -1.65 3 -0.476667 3
E F 0.475 -0.47 2 0.455000 2
G H -0.630 -0.63 1 1.480000 1
Powyższy wynik jest nieco irytujący ze względu na zagnieżdżone etykiety kolumn, a także dlatego, że liczba wierszy jest obliczana na podstawie kolumny.
Aby uzyskać większą kontrolę nad wyjściem I zazwyczaj dzielę statystyki na poszczególne agregacje, które następnie łączę za pomocą join
. Wygląda to tak:
In [6]: gb = df.groupby(['col1', 'col2'])
...: counts = gb.size().to_frame(name='counts')
...: (counts
...: .join(gb.agg({'col3': 'mean'}).rename(columns={'col3': 'col3_mean'}))
...: .join(gb.agg({'col4': 'median'}).rename(columns={'col4': 'col4_median'}))
...: .join(gb.agg({'col4': 'min'}).rename(columns={'col4': 'col4_min'}))
...: .reset_index()
...: )
...:
Out[6]:
col1 col2 counts col3_mean col4_median col4_min
0 A B 4 -0.372500 -0.810 -1.32
1 C D 3 -0.476667 -0.110 -1.65
2 E F 2 0.455000 0.475 -0.47
3 G H 1 1.480000 -0.630 -0.63
Przypisy
Kod użyty do wygenerowania danych testowych przedstawiono poniżej:
In [1]: import numpy as np
...: import pandas as pd
...:
...: keys = np.array([
...: ['A', 'B'],
...: ['A', 'B'],
...: ['A', 'B'],
...: ['A', 'B'],
...: ['C', 'D'],
...: ['C', 'D'],
...: ['C', 'D'],
...: ['E', 'F'],
...: ['E', 'F'],
...: ['G', 'H']
...: ])
...:
...: df = pd.DataFrame(
...: np.hstack([keys,np.random.randn(10,4).round(2)]),
...: columns = ['col1', 'col2', 'col3', 'col4', 'col5', 'col6']
...: )
...:
...: df[['col3', 'col4', 'col5', 'col6']] = \
...: df[['col3', 'col4', 'col5', 'col6']].astype(float)
...:
Zastrzeżenie:
Jeśli niektóre kolumny, które agregujesz, mają wartości null, to naprawdę chcesz patrzeć na liczbę wierszy grupy jako niezależną agregację dla każdej kolumny. W przeciwnym razie możesz być wprowadza w błąd, ile rekordów jest faktycznie używanych do obliczania rzeczy takich jak średnia, ponieważ pandy spadną NaN
wpisy w obliczeniach średniej, nie mówiąc ci o tym.
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2018-05-30 06:35:52
Możemy to łatwo zrobić za pomocą groupby I count. Należy jednak pamiętać, aby użyć reset_index ().
df[['col1','col2','col3','col4']].groupby(['col1','col2']).count().\
reset_index()
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2017-11-27 18:17:07