Python: debugowanie wycieku pamięci

Is DEBUG=False in settings.py?

Jeśli nie Django z radością zapisze wszystkie zapytania SQL, które dodajesz.

Próbowałeś gc?set_debug () ?

Musisz zadać sobie proste pytania:

• czy używam obiektów z __del__ metodami? Czy absolutnie, jednoznacznie, ich potrzebuję?
• Czy Mogę uzyskać cykle referencyjne w moim kodzie? Nie możemy złamać tych kół, zanim pozbędziemy się przedmiotów?

Zobacz, głównym problemem będzie cykl obiektów zawierających __del__ metody:

import gc

class A(object):
    def __del__(self):
        print 'a deleted'
        if hasattr(self, 'b'):
            delattr(self, 'b')

class B(object):
    def __init__(self, a):
        self.a = a
    def __del__(self):
        print 'b deleted'
        del self.a


def createcycle():
    a = A()
    b = B(a)
    a.b = b
    return a, b

gc.set_debug(gc.DEBUG_LEAK)

a, b = createcycle()

# remove references
del a, b

# prints:
## gc: uncollectable <A 0x...>
## gc: uncollectable <B 0x...>
## gc: uncollectable <dict 0x...>
## gc: uncollectable <dict 0x...>
gc.collect()

# to solve this we break explicitely the cycles:
a, b = createcycle()
del a.b

del a, b

# objects are removed correctly:
## a deleted
## b deleted
gc.collect()

Naprawdę zachęcam do oznaczania obiektów / pojęć, które są kolarstwo w aplikacji i skupić się na ich życiu: kiedy nie są już potrzebne, czy mamy coś odniesienia do niego?

Nawet dla cykli bez __del__ metod możemy mieć problem:

import gc

# class without destructor
class A(object): pass

def createcycle():
    # a -> b -> c 
    # ^         |
    # ^<--<--<--|
    a = A()
    b = A()
    a.next = b
    c = A()
    b.next = c
    c.next = a
    return a, b, b

gc.set_debug(gc.DEBUG_LEAK)

a, b, c = createcycle()
# since we have no __del__ methods, gc is able to collect the cycle:

del a, b, c
# no panic message, everything is collectable:
##gc: collectable <A 0x...>
##gc: collectable <A 0x...>
##gc: collectable <dict 0x...>
##gc: collectable <A 0x...>
##gc: collectable <dict 0x...>
##gc: collectable <dict 0x...>
gc.collect()

a, b, c = createcycle()

# but as long as we keep an exterior ref to the cycle...:
seen = dict()
seen[a] = True

# delete the cycle
del a, b, c
# nothing is collected
gc.collect()

Jeśli musisz używać słowników podobnych do"widzianych" lub historii, uważaj, aby zachować tylko dane, których potrzebujesz, bez zewnętrznych odniesień do nich.

Jestem teraz trochę rozczarowany set_debug, szkoda, że nie można go skonfigurować do wysyłania danych gdzie indziej niż na stderr, ale miejmy nadzieję, że to się wkrótce zmieni.

Zobacz ten doskonały wpis na blogu Neda Batcheldera o tym, jak wyśledzili prawdziwy wyciek pamięci w Tabblo firmy HP. Klasyka i warta przeczytania.

Myślę, że powinieneś używać różnych narzędzi. Najwyraźniej statystyki, które masz, dotyczą tylko obiektów GC( tj. obiektów, które mogą uczestniczyć w cyklach); przede wszystkim brakuje w nich ciągów.

Zalecam użycie Pymplera ; powinno to dostarczyć bardziej szczegółowych statystyk.

Czy używasz jakiegoś rozszerzenia? Są wspaniałym miejscem wycieków pamięci i nie będą śledzone przez narzędzia Pythona.

Try Guppy .

Zasadniczo, Potrzebujesz więcej informacji lub być w stanie wyodrębnić niektóre. Guppy zapewnia nawet graficzną reprezentację danych.