Importuj wiele plików csv do pandy i połącz w jedną ramkę danych

Alternatywa dla odpowiedź darindacodera :

path = r'C:\DRO\DCL_rawdata_files'                     # use your path
all_files = glob.glob(os.path.join(path, "*.csv"))     # advisable to use os.path.join as this makes concatenation OS independent

df_from_each_file = (pd.read_csv(f) for f in all_files)
concatenated_df   = pd.concat(df_from_each_file, ignore_index=True)
# doesn't create a list, nor does it append to one

import glob, os    
df = pd.concat(map(pd.read_csv, glob.glob(os.path.join('', "my_files*.csv"))))

Edit: wygooglowałem sobie drogę do https://stackoverflow.com/a/21232849/186078 . Jednak ostatnio znajduję to szybciej zrobić wszelkie manipulacji za pomocą numpy, a następnie przypisanie go raz do dataframe zamiast manipulowania samym dataframe na zasadzie iteracyjnej i wydaje się działać w tym rozwiązaniu zbyt.

Szczerze chcę, aby każdy, kto wejdzie na tę stronę, rozważył to podejście, ale nie chcę dołączać tego ogromnego kawałka kodu jako komentarza i uczynić go mniej czytelnym.

Możesz wykorzystać numpy, aby naprawdę przyspieszyć konkatenację ramki danych.

import os
import glob
import pandas as pd
import numpy as np

path = "my_dir_full_path"
allFiles = glob.glob(os.path.join(path,"*.csv"))


np_array_list = []
for file_ in allFiles:
    df = pd.read_csv(file_,index_col=None, header=0)
    np_array_list.append(df.as_matrix())

comb_np_array = np.vstack(np_array_list)
big_frame = pd.DataFrame(comb_np_array)

big_frame.columns = ["col1","col2"....]

Statystyki czasu:

total files :192
avg lines per file :8492
--approach 1 without numpy -- 8.248656988143921 seconds ---
total records old :1630571
--approach 2 with numpy -- 2.289292573928833 seconds ---

Biblioteka Dask może odczytać ramkę danych z wielu plików:

>>> import dask.dataframe as dd
>>> df = dd.read_csv('data*.csv')

(Źródło: http://dask.pydata.org/en/latest/examples/dataframe-csv.html )

Ramki danych Dask implementują podzbiór interfejsu API Panda dataframe. Jeśli wszystkie dane mieszczą się w pamięci, możesz wywołać df.compute() aby przekształcić ramkę danych w ramkę danych Pandy.

Jeśli chcesz przeszukać rekurencyjnie (Python 3.5 lub nowszy ), możesz wykonać następujące czynności:

from glob import iglob
import pandas as pd

path = r'C:\user\your\path\**\*.csv'

all_rec = iglob(path, recursive=True)     
dataframes = (pd.read_csv(f) for f in all_rec)
big_dataframe = pd.concat(dataframes, ignore_index=True)

Zauważ, że trzy ostatnie wiersze można wyrazić w jednym pojedynczym wierszu :

df = pd.concat((pd.read_csv(f) for f in iglob(path, recursive=True)), ignore_index=True)

Można znaleźć dokumentację ** tutaj . Ponadto, użyłem iglob zamiast glob, ponieważ zwraca iterator zamiast listy.

EDIT: Multiplatform recursive function:

Możesz zawinąć powyższe w funkcja wieloplatformowa (Linux, Windows, Mac) , więc możesz to zrobić:

df = read_df_rec('C:\user\your\path', *.csv)

Oto funkcja:

from glob import iglob
from os.path import join
import pandas as pd

def read_df_rec(path, fn_regex=r'*.csv'):
    return pd.concat((pd.read_csv(f) for f in iglob(
        join(path, '**', fn_regex), recursive=True)), ignore_index=True)

Jeśli wiele plików csv jest spakowanych, możesz użyć zipfile, aby odczytać wszystkie i połączyć jak poniżej:

import zipfile
import numpy as np
import pandas as pd

ziptrain = zipfile.ZipFile('yourpath/yourfile.zip')

train=[]

for f in range(0,len(ziptrain.namelist())):
    if (f == 0):
        train = pd.read_csv(ziptrain.open(ziptrain.namelist()[f]))
    else:
        my_df = pd.read_csv(ziptrain.open(ziptrain.namelist()[f]))
        train = (pd.DataFrame(np.concatenate((train,my_df),axis=0), 
                          columns=list(my_df.columns.values)))

filepaths = ['data/d1.csv', 'data/d2.csv','data/d3.csv','data/d4.csv']
df = pd.concat(map(pd.read_csv, filepaths))