Jak podzielić dane na 3 zestawy (pociąg, Walidacja i test)?

Uwaga:

Funkcja została napisana, aby obsługiwać tworzenie losowych zestawów. Nie należy polegać na rozdzielaniu zestawów, które nie powoduje losowości zestawów.

import numpy as np
import pandas as pd

def train_validate_test_split(df, train_percent=.6, validate_percent=.2, seed=None):
    np.random.seed(seed)
    perm = np.random.permutation(df.index)
    m = len(df.index)
    train_end = int(train_percent * m)
    validate_end = int(validate_percent * m) + train_end
    train = df.iloc[perm[:train_end]]
    validate = df.iloc[perm[train_end:validate_end]]
    test = df.iloc[perm[validate_end:]]
    return train, validate, test

Demonstracja

np.random.seed([3,1415])
df = pd.DataFrame(np.random.rand(10, 5), columns=list('ABCDE'))
df

train, validate, test = train_validate_test_split(df)

train

validate

test

Jednak jedno podejście do podziału zbioru danych na train, test, cv z 0.6, 0.2, 0.2 byłoby użycie metody train_test_split dwa razy.

from sklearn.model_selection import train_test_split

x, x_test, y, y_test = train_test_split(xtrain,labels,test_size=0.2,train_size=0.8)
x_train, x_cv, y_train, y_cv = train_test_split(x,y,test_size = 0.25,train_size =0.75)

Oto funkcja Pythona, która dzieli ramkę danych Pandas na train, validation i test dataframes ze stratyfikowanym próbkowaniem. Wykonuje ten podział przez dwukrotne wywołanie funkcji scikit-learn train_test_split().

import pandas as pd
from sklearn.model_selection import train_test_split

def split_stratified_into_train_val_test(df_input, stratify_colname='y',
                                         frac_train=0.6, frac_val=0.15, frac_test=0.25,
                                         random_state=None):
    '''
    Splits a Pandas dataframe into three subsets (train, val, and test)
    following fractional ratios provided by the user, where each subset is
    stratified by the values in a specific column (that is, each subset has
    the same relative frequency of the values in the column). It performs this
    splitting by running train_test_split() twice.

    Parameters
    ----------
    df_input : Pandas dataframe
        Input dataframe to be split.
    stratify_colname : str
        The name of the column that will be used for stratification. Usually
        this column would be for the label.
    frac_train : float
    frac_val   : float
    frac_test  : float
        The ratios with which the dataframe will be split into train, val, and
        test data. The values should be expressed as float fractions and should
        sum to 1.0.
    random_state : int, None, or RandomStateInstance
        Value to be passed to train_test_split().

    Returns
    -------
    df_train, df_val, df_test :
        Dataframes containing the three splits.
    '''

    if frac_train + frac_val + frac_test != 1.0:
        raise ValueError('fractions %f, %f, %f do not add up to 1.0' % \
                         (frac_train, frac_val, frac_test))

    if stratify_colname not in df_input.columns:
        raise ValueError('%s is not a column in the dataframe' % (stratify_colname))

    X = df_input # Contains all columns.
    y = df_input[[stratify_colname]] # Dataframe of just the column on which to stratify.

    # Split original dataframe into train and temp dataframes.
    df_train, df_temp, y_train, y_temp = train_test_split(X,
                                                          y,
                                                          stratify=y,
                                                          test_size=(1.0 - frac_train),
                                                          random_state=random_state)

    # Split the temp dataframe into val and test dataframes.
    relative_frac_test = frac_test / (frac_val + frac_test)
    df_val, df_test, y_val, y_test = train_test_split(df_temp,
                                                      y_temp,
                                                      stratify=y_temp,
                                                      test_size=relative_frac_test,
                                                      random_state=random_state)

    assert len(df_input) == len(df_train) + len(df_val) + len(df_test)

    return df_train, df_val, df_test

Poniżej znajduje się kompletny działający przykład.

Rozważ zbiór danych, który ma etykietę, na której chcesz wykonać stratyfikację. Ta etykieta ma swoją własną dystrybucję w oryginalnym zbiorze danych, powiedzmy 75% foo, 15% bar i 10% baz. Teraz Podzielmy zbiór danych na trenuj, sprawdzaj i testuj na podzbiorach przy użyciu stosunku 60/20/20, gdzie każdy podział zachowuje ten sam rozkład etykiet. Zobacz ilustrację poniżej:

Oto przykładowy zbiór danych:

df = pd.DataFrame( { 'A': list(range(0, 100)),
                     'B': list(range(100, 0, -1)),
                     'label': ['foo'] * 75 + ['bar'] * 15 + ['baz'] * 10 } )

df.head()
#    A    B label
# 0  0  100   foo
# 1  1   99   foo
# 2  2   98   foo
# 3  3   97   foo
# 4  4   96   foo

df.shape
# (100, 3)

df.label.value_counts()
# foo    75
# bar    15
# baz    10
# Name: label, dtype: int64

Teraz wywołajmy funkcję split_stratified_into_train_val_test() z góry, aby uzyskać trenowanie, walidację i testowanie RAM danych według stosunku 60/20/20.

df_train, df_val, df_test = \
    split_stratified_into_train_val_test(df, stratify_colname='label', frac_train=0.60, frac_val=0.20, frac_test=0.20)

Trzy ramki danych df_train, df_val, i df_test zawierają wszystkie oryginalne wiersze, ale ich rozmiary będą zgodne z powyżej proporcji.

df_train.shape
#(60, 3)

df_val.shape
#(20, 3)

df_test.shape
#(20, 3)

Ponadto każdy z trzech rozdziałów będzie miał taki sam rozkład etykiety, a mianowicie 75% foo, 15% bar i 10% baz.

df_train.label.value_counts()
# foo    45
# bar     9
# baz     6
# Name: label, dtype: int64

df_val.label.value_counts()
# foo    15
# bar     3
# baz     2
# Name: label, dtype: int64

df_test.label.value_counts()
# foo    15
# bar     3
# baz     2
# Name: label, dtype: int64

Jest bardzo wygodny w użyciu train_test_split bez wykonywania reindexingu po podzieleniu na kilka zestawów i bez pisania dodatkowego kodu. Najlepsza odpowiedź powyżej nie wspomina, że rozdzielając dwa razy używając train_test_split nie zmieniając wielkości partycji nie da się początkowo zamierzonej partycji:

x_train, x_remain = train_test_split(x, test_size=(val_size + test_size))

Następnie część zestawów walidacji i testów w zmianie x_remain i może być liczona jako

new_test_size = np.around(test_size / (val_size + test_size), 2)
# To preserve (new_test_size + new_val_size) = 1.0 
new_val_size = 1.0 - new_test_size

x_val, x_test = train_test_split(x_remain, test_size=new_test_size)

Przy tej okazji wszystkie początkowe partycje są zapisywane.

W przypadku uczenia nadzorowanego, możesz podzielić zarówno X jak i y (gdzie X jest Twoim wejściem, a y wyjściem prawdy). Musisz tylko zwrócić uwagę na shuffle X i y w ten sam sposób przed podzieleniem.

Tutaj, albo X i y są w tej samej ramce danych, więc tasujemy je, rozdzielamy i stosujemy podział dla każdego (tak jak w wybranej odpowiedzi), albo X i y są w dwóch różnych ramkach danych, więc tasujemy X, zmieniamy kolejność y w taki sam sposób jak tasowane X i stosujemy podział na każdy.

# 1st case: df contains X and y (where y is the "target" column of df)
df_shuffled = df.sample(frac=1)
X_shuffled = df_shuffled.drop("target", axis = 1)
y_shuffled = df_shuffled["target"]

# 2nd case: X and y are two separated dataframes
X_shuffled = X.sample(frac=1)
y_shuffled = y[X_shuffled.index]

# We do the split as in the chosen answer
X_train, X_validation, X_test = np.split(X_shuffled, [int(0.6*len(X)),int(0.8*len(X))])
y_train, y_validation, y_test = np.split(y_shuffled, [int(0.6*len(X)),int(0.8*len(X))])

Biorąc pod uwagę, że df zidentyfikuj oryginalną ramkę danych:

1-Najpierw dzielisz dane między pociąg i Test (10%):

my_test_size = 0.10

X_train_, X_test, y_train_, y_test = train_test_split(
    df.index.values,
    df.label.values,
    test_size=my_test_size,
    random_state=42,
    stratify=df.label.values,    
)

2 - następnie dzielisz zestaw pociągu między pociąg i walidację (20%):

my_val_size = 0.20

X_train, X_val, y_train, y_val = train_test_split(
    df.loc[X_train_].index.values,
    df.loc[X_train_].label.values,
    test_size=my_val_size,
    random_state=42,
    stratify=df.loc[X_train_].label.values,  
)

3-Następnie wycinasz oryginalną ramkę danych zgodnie z indeksami wygenerowanymi w powyższych krokach:

# data_type is not necessary. 
df['data_type'] = ['not_set']*df.shape[0]
df.loc[X_train, 'data_type'] = 'train'
df.loc[X_val, 'data_type'] = 'val'
df.loc[X_test, 'data_type'] = 'test'

Wynik będzie taki:

Uwaga: rozwiązanie to wykorzystuje obejście wymienione w pytaniu.

def train_val_test_split(X, y, train_size, val_size, test_size):
    X_train_val, X_test, y_train_val, y_test = train_test_split(X, y, test_size = test_size)
    relative_train_size = train_size / (val_size + train_size)
    X_train, X_val, y_train, y_val = train_test_split(X_train_val, y_train_val,
                                                      train_size = relative_train_size, test_size = 1-relative_train_size)
    return X_train, X_val, X_test, y_train, y_val, y_test

Tutaj dzielimy DANE 2 razy z train_test_split