Try:

dashboard_df = pd.read_csv(p_file, sep=',', error_bad_lines=False, index_col=False, dtype='unicode')

Według dokumentacji pandy:

Dtype: Nazwa typu lub dict kolumny - > typ

Jeśli chodzi o low_memory, jest to prawda domyślnie i nie jest jeszcze udokumentowane. Nie sądzę, żeby to miało znaczenie. Komunikat o błędzie jest ogólny, więc nie powinieneś i tak mieszać z low_memory. Mam nadzieję, że to pomoże i daj mi znać, jeśli masz dalsze problemy

df = pd.read_csv('somefile.csv', low_memory=False)

Jak wspomniano wcześniej przez firelynx jeśli dtype jest jawnie określony i istnieją mieszane DANE, które nie są zgodne z tym dtype, Ładowanie ulegnie awarii. Użyłem takiego konwertera jako obejścia zmiany wartości z niezgodnym typem danych, aby dane mogły być nadal ładowane.

def conv(val):
    if not val:
        return 0    
    try:
        return np.float64(val)
    except:        
        return np.float64(0)

df = pd.read_csv(csv_file,converters={'COL_A':conv,'COL_B':conv})

To działało dla mnie z low_memory = False Podczas importowania ramki danych. To jest cała zmiana, która zadziałała dla mnie:

df = pd.read_csv('export4_16.csv',low_memory=False)

Miałem podobny problem z plikiem ~400MB. Ustawienie low_memory=False załatwiło mi sprawę. Najpierw zrób proste rzeczy, sprawdziłbym, czy twoja ramka danych nie jest większa niż pamięć systemowa, zrestartuj, Wyczyść RAM przed kontynuowaniem. Jeśli nadal występują błędy, warto upewnić się, że plik .csv jest w porządku, zajrzyj szybko do programu Excel i upewnij się, że nie ma oczywistego uszkodzenia. Uszkodzone oryginalne dane mogą siać spustoszenie...

Miałem do czynienia z podobnym problemem podczas przetwarzania ogromnego pliku csv (6 milionów wierszy). Miałem trzy problemy:

1. Plik zawierał dziwne znaki (naprawione za pomocą kodowania)
2. typ danych nie został określony (naprawiony przy użyciu właściwości dtype)
3. korzystając z powyższego, nadal napotkałem problem związany z formatem pliku, którego nie można było zdefiniować na podstawie nazwy pliku (Naprawiono za pomocą try .. z wyjątkiem..)

    df = pd.read_csv(csv_file,sep=';', encoding = 'ISO-8859-1',
                     names=['permission','owner_name','group_name','size','ctime','mtime','atime','filename','full_filename'],
                     dtype={'permission':str,'owner_name':str,'group_name':str,'size':str,'ctime':object,'mtime':object,'atime':object,'filename':str,'full_filename':str,'first_date':object,'last_date':object})
    
    try:
        df['file_format'] = [Path(f).suffix[1:] for f in df.filename.tolist()]
    except:
        df['file_format'] = ''

Czasami, gdy Wszystko inne zawodzi, po prostu chcesz powiedzieć Pandzie, żeby się o tym zamknęła:

# Ignore DtypeWarnings from pandas' read_csv                                                                                                                                                                                            
warnings.filterwarnings('ignore', message="^Columns.*")

Zgodnie z dokumentacją pandy , określając low_memory=False tak długo, jak engine='c' (która jest domyślna) jest rozsądnym rozwiązaniem tego problemu.

Jeśli low_memory=False, to najpierw zostaną wczytane całe kolumny, a następnie określone odpowiednie typy. Na przykład kolumna będzie przechowywana jako obiekty (ciągi znaków) w razie potrzeby do zachowania informacji.

If low_memory=True (domyślne), then pandas wczytuje dane w kawałkach wierszy, a następnie dołącza je razem. Potem kilka kolumn może wyglądać jak kawałki liczb całkowitych i ciągów wymieszanych, w zależności od tego, czy podczas tego fragmentu pandy napotkały coś, czego nie można było rzucić na liczbę całkowitą (powiedzmy). To może powodować problemy później. Ostrzeżenie mówi ci, że zdarzyło się to przynajmniej raz w czytaniu, więc powinieneś być ostrożny. Ustawienie low_memory=False spowoduje użycie większej ilości pamięci, ale pozwoli uniknąć problemu.

Osobiście uważam, że low_memory=True jest złą wartością domyślną, ale pracuję w obszarze, który używa o wiele więcej małych zbiorów danych niż dużych i tak wygoda jest ważniejsza niż wydajność.

Poniższy kod ilustruje przykład, w którym low_memory=True jest ustawiona, a kolumna zawiera typy mieszane. To buduje odpowiedź przez @ firelynx

import pandas as pd
try:
    from StringIO import StringIO
except ImportError:
    from io import StringIO

# make a big csv data file, following earlier approach by @firelynx
csvdata = """1,Alice
2,Bob
3,Caesar
"""

# we have to replicate the "integer column" user_id many many times to get
# pd.read_csv to actually chunk read. otherwise it just reads 
# the whole thing in one chunk, because it's faster, and we don't get any 
# "mixed dtype" issue. the 100000 below was chosen by experimentation.
csvdatafull = ""
for i in range(100000):
    csvdatafull = csvdatafull + csvdata
csvdatafull =  csvdatafull + "foobar,Cthlulu\n"
csvdatafull = "user_id,username\n" + csvdatafull

sio = StringIO(csvdatafull)
# the following line gives me the warning:
    # C:\Users\rdisa\anaconda3\lib\site-packages\IPython\core\interactiveshell.py:3072: DtypeWarning: Columns (0) have mixed types.Specify dtype option on import or set low_memory=False.
    # interactivity=interactivity, compiler=compiler, result=result)
# but it does not always give me the warning, so i guess the internal workings of read_csv depend on background factors
x = pd.read_csv(sio, low_memory=True) #, dtype={"user_id": int, "username": "string"})

x.dtypes
# this gives:
# Out[69]: 
# user_id     object
# username    object
# dtype: object

type(x['user_id'].iloc[0]) # int
type(x['user_id'].iloc[1]) # int
type(x['user_id'].iloc[2]) # int
type(x['user_id'].iloc[10000]) # int
type(x['user_id'].iloc[299999]) # str !!!! (even though it's a number! so this chunk must have been read in as strings)
type(x['user_id'].iloc[300000]) # str !!!!!

Na marginesie: aby podać przykład, w którym jest to problem (i gdzie po raz pierwszy napotkałem to jako poważny problem), wyobraź sobie, że uruchomiłeś pd.read_csv() na pliku, a następnie chciałeś zrzucić duplikaty na podstawie identyfikatora. Powiedzmy, że identyfikator jest czasami liczbowy, czasami Łańcuchowy. / Align = "left" / 81287", innym może być "97324-32". Mimo to są to unikalne identyfikatory.

Z low_memory=True, pandy mogą czytać w kolumnie Identyfikator w następujący sposób:

81287
81287
81287
81287
81287
"81287"
"81287"
"81287"
"81287"
"97324-32"
"97324-32"
"97324-32"
"97324-32"
"97324-32"

Tylko dlatego, że kawałki rzeczy i tak, czasami identyfikator 81287 jest liczbą, czasami ciągiem znaków. Kiedy próbuję zrzucić duplikaty na podstawie tego, cóż,

81287 == "81287"
Out[98]: False

Jak mówi błąd, należy określić typy danych przy użyciu metody read_csv(). Więc powinieneś napisać

file = pd.read_csv('example.csv', dtype='unicode')