multiprocessing
Multiprocessing vs Threading Python
Staram się zrozumieć zalety multiprocessing over threading. Wiem, że multiprocessing obraca się wokół globalnej blokady interpretera, ale jakie są inne zalety i czy threading może nie robić tego samego?
Python multiprocessing pool.mapa dla wielu argumentów
W bibliotece wieloprocesorowej Pythona, czy istnieje wariant pool.mapa, która obsługuje wiele argumentów?
text = "test"
def ... cessing.Pool(processes=6)
case = RAW_DATASET
pool.map(harvester(text,case),case, 1)
pool.close()
pool.join()
multiprocessing.Pool: kiedy używać apply, apply async lub map?
Nie widziałem jasnych przykładów z przypadków użycia dla Pool.Zastosuj, Basen.apply_async i Pool.mapa . Używam głównie Pool.map; jakie są zalety innych?
Jak należy logować podczas korzystania z wieloprocesora w Pythonie?
W tej chwili mam centralny moduł w frameworku, który generuje wiele procesów za pomocą Pythona 2.6 multiprocessing moduł . Po ... wujące wewnątrz frameworka, nie mówiąc już o wszystkich klientach frameworka. Czy są jakieś alternatywy, o których nie myślę?
multiprocessing.Pool: Jaka jest różnica między map async a imap?
Próbuję nauczyć się używać pakietu multiprocessing Pythona, ale nie rozumiem różnicy między map_async a imap.
Zauważyłem, że ... sult = pool.map_async()
pool.close()
pool.join()
return result.get()
result=test()
for i in result:
print i
Jakie są różnice między modułami threading i multiprocessing?
Uczę się używać modułów threading i multiprocessing w Pythonie do równoległego uruchamiania pewnych operacji i przyspieszania ... ymi zasobami, które wyjaśniają koncepcje stojące za tymi dwoma modułami i jak je właściwie wykorzystać w złożonych zadaniach?
Nie można marynować podczas korzystania z puli wieloprocesorowej.mapka()
Staram się użyć multiprocessing'S Pool.map() Funkcja do podziału pracy jednocześnie. Kiedy używam poniższego kodu, działa dob ... ing.Pool(processes=4)
print pool.map(self.f, range(10))
Ktoś wie, jaki może być problem, albo jak go obejść?
Python multiprocessing: understanding logic behind ' chunksize`
Jakie czynniki decydują o optymalnym argumencie chunksize do metod takich jak multiprocessing.Pool.map()? Metoda .map() wyda ... rtości 1.
Related answer that is helpful but a bit too high-level: Python multiprocessing: why are large chunksizes slow?.
Dlaczego multiprocessing używa tylko jednego rdzenia po zaimportowaniu numpy?
Nie jestem pewien, czy to bardziej liczy się jako problem z systemem operacyjnym, ale pomyślałem, że zapytam tutaj w przypadk ... nie osobnych procesów dla różnych pracowników, ale czy jest jakiś sposób, aby te procesy wykonywały się na różnych rdzeniach?
Multiprocessing: jak korzystać z puli.mapa na funkcji zdefiniowanej w klasie?
Kiedy uruchamiam coś takiego:
from multiprocessing import Pool
p = Pool(5)
def f(x):
return x*x
p.map(f, [1,2,3])
... nction failed
Widziałem post od Alex Martelli zajmujący się tym samym rodzajem problemu, ale nie był wystarczająco wyraźny.
Rozwiązywanie problemów równoległych przy użyciu wieloprocesora Pythona
Jak wykorzystać multiprocessing do rozwiązania kłopotliwie równoległych problemów ?
Problemy równoległe zwykle składają się ... systemowej). Czy powinniśmy zmienić algorytm w jakikolwiek sposób (np. nie uruchamiać żadnych procesów jednocześnie z I/O)?
Jak uruchamiać funkcje równolegle?
Zbadałem pierwszy i nie mogłem znaleźć odpowiedzi na moje pytanie. Próbuję uruchomić wiele funkcji równolegle w Pythonie.
Mam ... mego czasu, ponieważ co minutę zliczam ile plików jest tworzonych. Jeśli katalogu tam nie ma, to odrzuci moje wyczucie czasu.
Python multiprocessing tracking error
Przykro mi, że nie mogę odtworzyć błędu prostszym przykładem, a mój kod jest zbyt skomplikowany, aby go opublikować. Jeśli ur ... _async (f). f (), g (), h() są zdefiniowane na najwyższym poziomie. Próbowałem prostszego przykładu z tym wzorem i to działa.
Python multiprocessing-Pipe vs Queue
Jakie są podstawowe różnice między kolejkami i rurami w pakiecie wieloprocesorowym Pythona?
W jakich scenariuszach należy wybrać jeden nad drugim? Kiedy jest korzystne stosowanie Pipe()? Kiedy jest korzystne stosowanie Queue()?
Obiekty pamięci współdzielonej w wieloprocesorze
Załóżmy, że mam dużą tablicę numpy w pamięci, mam funkcję func, która przyjmuje tę tablicę jako wejście (wraz z innymi parame ... 529
Dlaczego jest taki ogromny nad głową, skoro nie skopiowaliśmy tablicy? A jaka część pamięci współdzielonej mnie Ocala?
Przerwania klawiatury z pulą wieloprocesorową Pythona
Jak mogę obsługiwać zdarzenia typu KeyboardInterrupt z pulami wieloprocesorowymi Pythona? Oto prosty przykład:
from multipr ... zewnętrznie.
Chcę być w stanie nacisnąć ^C w dowolnym momencie i spowodować, że wszystkie procesy zakończą się z wdziękiem.
Udostępnianie Dużej Tablicy Numpy Tylko Do Odczytu Między Procesami Wieloprocesorowymi
Mam macierz SciPy 60GB (Matrix), którą muszę podzielić między 5+ multiprocessing Process obiektów. Widziałem numpy-sharedmem ... skomentować, a ja dodam. Dzięki!
To musi działać na Ubuntu Linux i Może Mac OS, ale przenośność nie jest wielkim problemem.
Przetwarzanie pojedynczego pliku z wielu procesów w Pythonie
Mam jeden duży plik tekstowy, w którym chcę przetworzyć każdą linię (wykonać kilka operacji ) i zapisać je w bazie danych. Po ... przetworzone I moja baza danych jest zrzucana z potrzebuję danych.
Ale nie jestem w stanie zrozumieć, jak do tego podejść.
Czy współdzielone dane readonly są kopiowane do różnych procesów w celu przetwarzania wieloprocesowego?
Fragment kodu, który mam, wygląda trochę tak:
glbl_array = # a 3 Gb array
def my_func( args, def_param = glbl_array):
... admin. Czy uważasz, że to pomoże, jeśli drugi parametr jest prawdziwym niezmiennym obiektem, takim jak glbl_array.tostring().
Martwy prosty przykład użycia kolejki wieloprocesorowej, Puli i blokowania
Próbowałem przeczytać dokumentację na http://docs.python.org/dev/library/multiprocessing.html ale wciąż zmagam się z kolejk ... _time)
time.sleep(int(the_time))
print " Process %s\tDONE" % inputs
if __name__ == '__main__':
mp_handler(data)