Konwertuj kolumnę Pandas zawierającą Nan na dtype ' int`

Mój przypadek użycia polega na gromadzeniu danych przed załadowaniem do tabeli DB:

df[col] = df[col].fillna(-1)
df[col] = df[col].astype(int)
df[col] = df[col].astype(str)
df[col] = df[col].replace('-1', np.nan)

Usuń Nan, przekonwertuj na int, przekonwertuj na str, a następnie ponownie włóż Nan.

Jeśli możesz zmodyfikować przechowywane dane, Użyj wartości sentinel dla brakujących id. Często używany przypadek, wywnioskowany przez nazwę kolumny, ponieważ id jest liczbą całkowitą, ściśle większą od zera, możesz użyć 0 jako wartości sentinel, aby zapisać

if row['id']:
   regular_process(row)
else:
   special_process(row)

Zakładając, że DateColumn sformatowany 3312018.0 powinien zostać przekonwertowany na 03/31/2018 jako łańcuch znaków. I brakuje niektórych rekordów lub 0.

df['DateColumn'] = df['DateColumn'].astype(int)
df['DateColumn'] = df['DateColumn'].astype(str)
df['DateColumn'] = df['DateColumn'].apply(lambda x: x.zfill(8))
df.loc[df['DateColumn'] == '00000000','DateColumn'] = '01011980'
df['DateColumn'] = pd.to_datetime(df['DateColumn'], format="%m%d%Y")
df['DateColumn'] = df['DateColumn'].apply(lambda x: x.strftime('%m/%d/%Y'))

Natknąłem się na ten problem pracując z pyspark. Ponieważ jest to nakładka Pythona dla kodu uruchamianego na jvm, wymaga bezpieczeństwa typu i użycie float zamiast int nie jest opcją. Obejrzałem ten problem, owijając pandy pd.read_csv w funkcję, która wypełni zdefiniowane przez użytkownika kolumny wartościami wypełnienia zdefiniowanymi przez użytkownika przed wysłaniem ich do wymaganego typu. Oto, czego użyłem:

def custom_read_csv(file_path, custom_dtype = None, fill_values = None, **kwargs):
    if custom_dtype is None:
        return pd.read_csv(file_path, **kwargs)
    else:
        assert 'dtype' not in kwargs.keys()
        df = pd.read_csv(file_path, dtype = {}, **kwargs)
        for col, typ in custom_dtype.items():
            if fill_values is None or col not in fill_values.keys():
                fill_val = -1
            else:
                fill_val = fill_values[col]
            df[col] = df[col].fillna(fill_val).astype(typ)
    return df

Konwertuj na zmiennoprzecinkowy (ignorując błędy), a następnie przekonwertuj wynik na wartość int.

df['id'] = df['id'].astype(float, errors='ignore').astype(int) 

Alternatywnie:

df['id'] = df['id'].replace(np.nan,0) 

A następnie użyj wyrażenia regularnego:

df['id'] = df['id'].astype(int)

W przypadku liczb pierwotnie sformatowanych jako ciągi znaków (np. '35' zamiast 35) pomaga:

df['id'] = df['id'].apply(lambda x: int(x))

Najpierw usuń wiersze zawierające NaN. Następnie wykonaj konwersję całkowitą na pozostałych wierszach. W końcu Wstaw ponownie usunięte wiersze. Mam nadzieję, że zadziała

Możesz użyć .dropna(), jeśli można upuścić wiersze z wartościami NaN.

df = df.dropna(subset=['id'])

Alternatywnie, użyj .fillna() i .astype(), aby zastąpić NaN wartościami i przekonwertować je na int.

Napotkałem ten problem podczas przetwarzania pliku CSV z dużymi liczbami całkowitymi, podczas gdy niektórych z nich brakowało (NaN). Użycie float jako typu nie wchodziło w grę, ponieważ mogłem stracić precyzję.

Moim rozwiązaniem było użycie str jako pośredniego typu. Następnie możesz przekonwertować ciąg znaków do int jak chcesz później w kodzie. Zamieniłem NaN na 0, ale można wybrać dowolną wartość.

df = pd.read_csv(filename, dtype={'id':str})
df["id"] = df["id"].fillna("0").astype(int)

Dla ilustracji, oto przykład, jak pływaki mogą stracić precyzję:

s = "12345678901234567890"
f = float(s)
i = int(f)
i2 = int(s)
print (f, i, i2)

A wyjście to:

1.2345678901234567e+19 12345678901234567168 12345678901234567890

W moim przypadku edytowałem format kolumny csv tzn. zmieniłem format kolumny z ogólnego na numer.Wtedy jestem w stanie zmienić typ w pandach.

df= pd.read_csv("data.csv")
df[['id']] = df[['id']].astype(int)