Jak odczytać dane CSV do tablicy rekordów w NumPy?

Polecam read_csv funkcja z biblioteki pandas:

import pandas as pd
df=pd.read_csv('myfile.csv', sep=',',header=None)
df.values
array([[ 1. ,  2. ,  3. ],
       [ 4. ,  5.5,  6. ]])

To daje pandy DataFrame - pozwalające na wiele przydatnych funkcji manipulacji danymi, które nie są bezpośrednio dostępne z tablicami rekordów numpy.

DataFrame jest dwuwymiarową strukturą danych z kolumnami potencjalnie różne typy. Można o tym myśleć jak o arkuszu kalkulacyjnym lub Tabela SQL...

Polecam również genfromtxt. Jednak, ponieważ pytanie wymaga tablicy rekordów , W przeciwieństwie do zwykłej tablicy, parametr dtype=None musi zostać dodany do wywołania genfromtxt:

Podano plik wejściowy, myfile.csv:

1.0, 2, 3
4, 5.5, 6

import numpy as np
np.genfromtxt('myfile.csv',delimiter=',')

Daje tablicę:

array([[ 1. ,  2. ,  3. ],
       [ 4. ,  5.5,  6. ]])

I

np.genfromtxt('myfile.csv',delimiter=',',dtype=None)

Podaje tablicę rekordów:

array([(1.0, 2.0, 3), (4.0, 5.5, 6)], 
      dtype=[('f0', '<f8'), ('f1', '<f8'), ('f2', '<i4')])

Ma to tę zaletę, że plik z wieloma typami danych (w tym łańcuchami znaków) można łatwo zaimportować.

Możesz również spróbować recfromcsv(), które może odgadnąć typy danych i zwrócić odpowiednio sformatowaną tablicę rekordów.

I timed the

from numpy import genfromtxt
genfromtxt(fname = dest_file, dtype = (<whatever options>))

Kontra

import csv
import numpy as np
with open(dest_file,'r') as dest_f:
    data_iter = csv.reader(dest_f,
                           delimiter = delimiter,
                           quotechar = '"')
    data = [data for data in data_iter]
data_array = np.asarray(data, dtype = <whatever options>)

Na 4,6 miliona wierszy z około 70 kolumnami i okazało się, że ścieżka NumPy zajęła 2 min 16 sekund, a metoda rozumienia csv-list zajęła 13 sekund.

Polecam metodę rozumienia csv-list, ponieważ najprawdopodobniej opiera się ona na wstępnie skompilowanych bibliotekach, a nie na interpreterze tak samo jak NumPy. Podejrzewam, że metoda pandy miałaby podobne znaczenie.

Ponieważ próbowałem obu sposobów używając NumPy i pand, używanie pand ma wiele zalet: {]}

• Faster
• mniejsze zużycie procesora
• użycie 1/3 pamięci RAM w porównaniu do NumPy genfromtxt

To jest mój kod testowy:

$ for f in test_pandas.py test_numpy_csv.py ; do  /usr/bin/time python $f; done
2.94user 0.41system 0:03.05elapsed 109%CPU (0avgtext+0avgdata 502068maxresident)k
0inputs+24outputs (0major+107147minor)pagefaults 0swaps

23.29user 0.72system 0:23.72elapsed 101%CPU (0avgtext+0avgdata 1680888maxresident)k
0inputs+0outputs (0major+416145minor)pagefaults 0swaps

Test_numpy_csv.py

from numpy import genfromtxt
train = genfromtxt('/home/hvn/me/notebook/train.csv', delimiter=',')

Test_pandas.py

from pandas import read_csv
df = read_csv('/home/hvn/me/notebook/train.csv')

Plik danych:

du -h ~/me/notebook/train.csv
 59M    /home/hvn/me/notebook/train.csv

Z NumPy i pandy w wersjach:

$ pip freeze | egrep -i 'pandas|numpy'
numpy==1.13.3
pandas==0.20.2

Możesz użyć tego kodu do wysłania danych pliku CSV do tablicy:

import numpy as np
csv = np.genfromtxt('test.csv', delimiter=",")
print(csv)

Próbowałem tego:

import pandas as p
import numpy as n

closingValue = p.read_csv("<FILENAME>", usecols=[4], dtype=float)
print(closingValue)

Za pomocą numpy.loadtxt

import numpy as np 
data = np.loadtxt('c:\\1.csv',delimiter=',',skiprows=0)  

To najprostszy sposób:

import csv with open('testfile.csv', newline='') as csvfile: data = list(csv.reader(csvfile))

Teraz każdy wpis w danych jest rekordem reprezentowanym jako tablica. Macie macierz 2D. Zaoszczędziło mi to tyle czasu.

Sugerowałbym użycie tabel (pip3 install tables). Możesz zapisać plik .csv do .h5 używając pand (pip3 install pandas),

import pandas as pd
data = pd.read_csv("dataset.csv")
store = pd.HDFStore('dataset.h5')
store['mydata'] = data
store.close()

Można wtedy łatwo, i z krótszym czasem nawet dla ogromnej ilości danych, załadować dane w tablicy NumPy.

import pandas as pd
store = pd.HDFStore('dataset.h5')
data = store['mydata']
store.close()

# Data in NumPy format
data = data.values