Doświadczenie z wykorzystaniem h5py do pracy analitycznej na big data w Pythonie?

Wykonuję dużo pracy statystycznej i używam Pythona jako głównego języka. Niektóre z zestawów danych, z którymi pracuję, mogą jednak zająć 20 GB pamięci, co sprawia, że obsługa ich za pomocą funkcji w pamięci numpy, scipy i PyIMSL jest prawie niemożliwa. Język analizy statystycznej SAS ma tutaj dużą zaletę, ponieważ może operować na danych z dysku twardego, w przeciwieństwie do przetwarzania ściśle w pamięci. Ale, chcę uniknąć konieczności pisania dużo kodu w SAS (dla różnych powody) i dlatego staram się ustalić, jakie opcje mam z Pythonem (oprócz zakupu więcej sprzętu i pamięci).

Powinienem wyjaśnić, że podejścia takie jak Map-reduce nie pomogą w dużej części mojej pracy, ponieważ muszę operować na kompletnych zestawach danych (np. obliczanie kwantyli lub dopasowanie modelu regresji logistycznej).

Ostatnio zacząłem grać z h5py i uważam, że jest to najlepsza opcja, jaką znalazłem, pozwalająca Pythonowi działać jak SAS i działać na danych z dysku (poprzez pliki hdf5), przy jednoczesnym wykorzystaniu numpy/scipy / matplotlib itp. Chciałbym usłyszeć, czy ktoś ma doświadczenie w używaniu Pythona i h5py w podobnym ustawieniu i co znalazł. Czy ktoś był w stanie używać Pythona w Ustawieniach "big data" dotychczas zdominowanych przez SAS?

EDIT: zakup większej ilości sprzętu / pamięci z pewnością może pomóc, ale z punktu widzenia IT trudno mi sprzedać Pythona organizacji, która musi analizować ogromne zbiory danych, gdy Python (lub R, lub MATLAB itp.) muszą przechowywać dane w pamięci. SAS nadal ma tutaj silny punkt sprzedaży, ponieważ chociaż analizy dyskowe mogą być wolniejsze, możesz śmiało radzić sobie z ogromnymi zestawami danych. Mam więc nadzieję, że Stackoverflow-ers pomoże mi dowiedzieć się, jak zmniejszyć postrzegane ryzyko związane z używaniem Pythona jako głównego języka analityki big data.