pytables
Czy użycie HDF5 do przechowywania dużych tablic (zamiast płaskich plików binarnych) ma przewagę szybkości analizy lub wykorzystania pamięci?
Przetwarzam duże tablice 3D, które często muszę pokroić na różne sposoby, aby wykonać różnorodną analizę danych. Typowa "kost ... mojej pamięci.
Zbadałem zarówno pytables, jak i h5py i do tej pory nie widziałem korzyści z żadnego z nich dla mojego celu.
Iteracyjnie pisanie do sklepów HDF5 w pandach
Pandas ma następujące przykłady jak przechowywać Series, DataFrames i Panels w plikach HDF5:
Przygotuj kilka danych:
In [ ... cza przez nie przydatny ani nie nadający się do zapytania ? Czy nie powinno być napisane raz zamknięte zamiast napisane ?
Ulepsz pandy (PyTables?) Wydajność zapisu tabeli HDF5
[[12]] używam pand do badań od około dwóch miesięcy z wielkim skutkiem. Dzięki dużej liczbie średnich zbiorów danych zdarzeń ... 0 0.050 0.000 0.090 0.000 leaf.py:397(_process_range)
87797 0.048 0.000 0.048 0.000 {isinstance}
Przechowywanie macierzy numpy w HDF5 (PyTables)
Mam problem z przechowywaniem numpy csr_matrix z PyTables. Dostaję ten błąd:
TypeError: objects of type ``csr_matrix`` are ... f.createCArray(f.root, 'count', atom, self.count_vector.shape)
ds[:] = self.count_vector
f.close()
Jakieś pomysły?
Dzięki
Pandy HDF5 jako baza danych
Używam Pythona pandas przez ostatni rok i jestem pod wrażeniem jego wydajności i funkcjonalności, jednak pandas nie jest jesz ... echowywania danych, ale chcę użyć HDF5, ponieważ nie widziałem nic szybszego, jeśli chodzi o pobieranie dużych ilości danych.
Python, PyTables, Java-wszystko razem
Pytanie w pigułce
Jaki jest najlepszy sposób, aby Python i Java grały ze sobą ładnie?
Bardziej szczegółowe wyjaśnienie
M ... e, filtrowane widoki byłyby przekazywane klientom. Pyro wydaje się być ciekawym wyborem - czy ktoś ma z tym doświadczenie?
Python: jak przechowywać wielowymiarową tablicę numpy w PyTables?
Jak mogę umieścić wielowymiarową tablicę numpy w pliku HDF5 używając PyTables?
Z tego co wiem nie mogę umieścić pola tablicy ...
Muszę też zapisać trochę informacji o tej tablicy i być w stanie wykonać na niej obliczenia matematyczne.
Jakieś sugestie?
Pandy "Grupowe" Zapytanie o Duże dane w HDFStore?
Mam około 7 milionów wierszy w HDFStore z ponad 60 kolumnami. Dane są więcej niż mogę zmieścić w pamięci. Chcę agregować dane ... jednak nie mogę odczytać całego sklepu do pamięci DataFrame. Jakie jest prawidłowe podejście do grupowania danych w HDFStore?
HDF5 zajmuje więcej miejsca niż CSV?
Rozważ następujący przykład:
Przygotuj DANE:
import string
import random
import pandas as pd
matrix = np.random.random(( ... wałem z innymi metodami kompresji i poziomami. Czy to robak? (Używam Pandy 0.11 i najnowszej stabilnej wersji HDF5 i Python).
Konwertuj duży plik csv na hdf5
Mam plik csv linii 100m (właściwie wiele oddzielnych plików csv) o łącznej pojemności 84GB. Muszę przekonwertować go do pliku ... na raz, więc to nie zadziała. Być może możesz pomóc mi rozwiązać problem poprawnie z innymi narzędziami w pytables lub pandy.
Jak uzyskać szybszy Kod niż numpy.kropka do mnożenia macierzy?
Tutaj mnożenie macierzy za pomocą hdf5 używam hdf5 (pytables) do mnożenia dużych macierzy, ale byłem zaskoczony, ponieważ uż ... np.dot(A[i:i+sz,k:k+sz],B[k:k+sz,j:j+sz])
print (time.time()-t0)
h5f_A.close()
h5f_B.close()
h5f_C.close()