Zapisywanie obiektu (trwałość danych)

Myślę, że całkiem mocnym założeniem jest założenie, że obiekt jest class. A jeśli to nie class? Istnieje również założenie, że obiekt nie został zdefiniowany w interpreterze. Co jeśli zostało zdefiniowane w interpreterze? Co by było, gdyby atrybuty były dodawane dynamicznie? Gdy niektóre obiekty Pythona mają atrybuty dodane do ich __dict__ Po utworzeniu, pickle nie respektuje dodawania tych atrybutów (tzn. "zapomina", że zostały dodane-ponieważ pickle serializuje przez odniesienie do definicji obiektu).

We wszystkich tych przypadkach, pickle i cPickle mogą Cię strasznie zawieść.

Jeśli chcesz zapisać object (arbitralnie utworzony), gdzie masz atrybuty (albo dodane w definicji obiektu, albo później)... najlepszym rozwiązaniem jest użycie dill, które może serializować prawie wszystko w Pythonie.

Python 2.7.8 (default, Jul 13 2014, 02:29:54) 
[GCC 4.2.1 Compatible Apple Clang 4.1 ((tags/Apple/clang-421.11.66))] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import pickle
>>> class Company:
...     pass
... 
>>> company1 = Company()
>>> company1.name = 'banana'
>>> company1.value = 40
>>> with open('company.pkl', 'wb') as f:
...     pickle.dump(company1, f, pickle.HIGHEST_PROTOCOL)
... 
>>> 

Python 2.7.8 (default, Jul 13 2014, 02:29:54) 
[GCC 4.2.1 Compatible Apple Clang 4.1 ((tags/Apple/clang-421.11.66))] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import pickle
>>> with open('company.pkl', 'rb') as f:
...     company1 = pickle.load(f)
... 
Traceback (most recent call last):
  File "<stdin>", line 2, in <module>
  File "/opt/local/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/pickle.py", line 1378, in load
    return Unpickler(file).load()
  File "/opt/local/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/pickle.py", line 858, in load
dispatch[key](self)
  File "/opt/local/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/pickle.py", line 1090, in load_global
    klass = self.find_class(module, name)
  File "/opt/local/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/pickle.py", line 1126, in find_class
    klass = getattr(mod, name)
AttributeError: 'module' object has no attribute 'Company'
>>> 

Python 2.7.8 (default, Jul 13 2014, 02:29:54) 
[GCC 4.2.1 Compatible Apple Clang 4.1 ((tags/Apple/clang-421.11.66))] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import dill       
>>> class Company:
...     pass
... 
>>> company1 = Company()
>>> company1.name = 'banana'
>>> company1.value = 40
>>> 
>>> company2 = lambda x:x
>>> company2.name = 'rhubarb'
>>> company2.value = 42
>>> 
>>> with open('company_dill.pkl', 'wb') as f:
...     dill.dump(company1, f)
...     dill.dump(company2, f)
... 
>>> 

A teraz Przeczytaj plik.

Python 2.7.8 (default, Jul 13 2014, 02:29:54) 
[GCC 4.2.1 Compatible Apple Clang 4.1 ((tags/Apple/clang-421.11.66))] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import dill
>>> with open('company_dill.pkl', 'rb') as f:
...     company1 = dill.load(f)
...     company2 = dill.load(f)
... 
>>> company1 
<__main__.Company instance at 0x107909128>
>>> company1.name
'banana'
>>> company1.value
40
>>> company2.name
'rhubarb'
>>> company2.value
42
>>>    

Właściwie, jest łatwiejszy sposób, aby zapisać wszystkie te obiektów, zwłaszcza jeśli masz dużo obiektów, które utworzyłeś. Po prostu wyrzuć całą sesję Pythona i wróć do niej później.

Python 2.7.8 (default, Jul 13 2014, 02:29:54) 
[GCC 4.2.1 Compatible Apple Clang 4.1 ((tags/Apple/clang-421.11.66))] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import dill
>>> class Company:
...     pass
... 
>>> company1 = Company()
>>> company1.name = 'banana'
>>> company1.value = 40
>>> 
>>> company2 = lambda x:x
>>> company2.name = 'rhubarb'
>>> company2.value = 42
>>> 
>>> dill.dump_session('dill.pkl')
>>> 

Python 2.7.8 (default, Jul 13 2014, 02:29:54) 
[GCC 4.2.1 Compatible Apple Clang 4.1 ((tags/Apple/clang-421.11.66))] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import dill
>>> dill.load_session('dill.pkl')
>>> company1.name
'banana'
>>> company1.value
40
>>> company2.name
'rhubarb'
>>> company2.value
42
>>> company2
<function <lambda> at 0x1065f2938>

Jedyną poważną wadą jest to, że dill nie jest częścią standardowej biblioteki Pythona. Jeśli więc nie możesz zainstalować pakietu Pythona na swoim serwerze, nie możesz go użyć.

Jednakże, jeśli jesteś w stanie zainstalować pakiety Pythona w swoim systemie, możesz pobrać najnowszą dill za pomocą git+https://github.com/uqfoundation/dill.git@master#egg=dill. I możesz uzyskać najnowszą wersję z pip install dill.

Możesz użyć anycache , aby wykonać zadanie za Ciebie. Rozważa wszystkie szczegóły:

• używa dill jako backend, który rozszerza moduł python pickle do obsługi lambda i wszystkich ładnych funkcje Pythona.
• przechowuje różne obiekty do różnych plików i ładuje je poprawnie.
• ogranicza rozmiar pamięci podręcznej
• umożliwia wyczyszczenie pamięci podręcznej
• umożliwia współdzielenie obiektów pomiędzy wieloma przebiegami
• pozwala respektować pliki wejściowe, które wpływ na wynik

Zakładając, że masz funkcję myfunc, która tworzy instancję:

from anycache import anycache

class Company(object):
    def __init__(self, name, value):
        self.name = name
        self.value = value

@anycache(cachedir='/path/to/your/cache')    
def myfunc(name, value)
    return Company(name, value)

Anycache wywołuje myfunc po raz pierwszy i ogrzewa wynik do plik w cachedir za pomocą unikalnego identyfikatora (w zależności od nazwy funkcji i jej argumentów) jako nazwa pliku. W każdym kolejnym uruchomieniu marynowany obiekt jest ładowany. Jeśli cachedir jest zachowana pomiędzy uruchomieniami Pythona, to marynowany obiekt jest pobierany z poprzedniego uruchomienia Pythona.

Aby uzyskać więcej informacji zobacz dokumentacja