Pandy HDF5 jako baza danych

Wiem, że poniższe nie jest dobrą odpowiedzią na pytanie, ale jest idealne dla moich potrzeb i nie znalazłem go zaimplementowanego gdzie indziej:

from pandas import HDFStore
import os
import time

class SafeHDFStore(HDFStore):
    def __init__(self, *args, **kwargs):
        probe_interval = kwargs.pop("probe_interval", 1)
        self._lock = "%s.lock" % args[0]
        while True:
            try:
                self._flock = os.open(self._lock, os.O_CREAT |
                                                  os.O_EXCL |
                                                  os.O_WRONLY)
                break
            except FileExistsError:
                time.sleep(probe_interval)

        HDFStore.__init__(self, *args, **kwargs)

    def __exit__(self, *args, **kwargs):
        HDFStore.__exit__(self, *args, **kwargs)
        os.close(self._flock)
        os.remove(self._lock)

Używam tego jako

result = do_long_operations()
with SafeHDFStore('example.hdf') as store:
    # Only put inside this block the code which operates on the store
    store['result'] = result

I różne procesy / wątki działające na tym samym sklepie będą po prostu w kolejce.

Zauważ, że jeśli zamiast tego naiwnie operujesz na sklepie z wielu procesów, Ostatnie zamknięcie sklepu "wygra", a to, co inni "myślą, że napisali", zostanie utracone.

(I know I could instead po prostu pozwól jednemu procesowi zarządzać wszystkimi zapisami, ale to rozwiązanie pozwala uniknąć kosztów wytrawiania)

EDIT: "probe_interval" może być teraz dostrojony (jedna sekunda to za dużo, jeśli zapisy są częste)

Grupa HDF ma już usługę REST dla HDF5: http://hdfgroup.org/projects/hdfserver/