Jakie są scenariusze, dla których MPI lepiej pasuje niż MapReduce?

Mimo, że na to pytanie udzielono odpowiedzi, chciałbym dodać/powtórzyć jeden bardzo ważny punkt.

MPI najlepiej nadaje się do problemów, które wymagają dużo komunikacji międzyprocesowej.

Kiedy dane stają się duże( petabajty, ktoś?), a komunikacja międzyprocesowa jest niewielka, MPI staje się bólem. Dzieje się tak dlatego, że procesy spędzają cały czas na wysyłaniu danych do siebie (przepustowość staje się czynnikiem ograniczającym), a Twoje Procesory pozostaną bezczynne. Być może nawet większym problemem jest odczytanie wszystkich danych.

To jest podstawowy powód posiadania czegoś takiego jak Hadoop. Dane muszą być również dystrybuowane-Hadoop Distributed File System!

Krótko mówiąc, MPI jest dobre dla równoległości zadań, a Hadoop jest dobre dla równoległości danych.

Najlepszą odpowiedzią, jaką mogłem wymyślić jest to, że MPI jest lepsze niż MapReduce w dwóch przypadkach:

1. Do krótkich zadań, a nie przetwarzania wsadowego . Na przykład MapReduce nie może być używany do odpowiadania na indywidualne zapytania - każde zadanie powinno zająć kilka minut. Myślę, że w MPI można zbudować system odpowiedzi na zapytania, w którym maszyny wysyłają do siebie wiadomości, aby skierować zapytanie i wygenerować odpowiedź.

2. W przypadku zadań węzły muszą się komunikować więcej niż to, co obsługuje itered MapReduce jobs, ale nie zbyt wiele, aby ogólne koszty komunikacji sprawiały, że obliczenia były niepraktyczne. Nie jestem jednak pewien, jak często takie przypadki występują w praktyce.

Gdy obliczenia i dane, których używasz, mają nieregularne zachowania, które najczęściej przekładają się na wiele komunikatów między obiektami, lub gdy potrzebujesz dostępu na niskim poziomie sprzętowym, np. RDMA, wtedy MPI jest lepsze. W niektórych odpowiedziach, które widzisz tutaj, wspomina się o opóźnieniach zadań lub modelu spójności pamięci, frameworki takie jak Spark lub modele aktorów, takie jak AKKA, pokazały, że mogą konkurować z MPI. Wreszcie należy wziąć pod uwagę, że MPI ma korzyści z bycia przez lata głównym baza do tworzenia bibliotek potrzebnych do obliczeń naukowych (są to najważniejsze brakujące części w nowych frameworkach wykorzystujących modele dag / MapReduce).

Podsumowując, myślę, że korzyści, które modele MapReduce / DAG przynoszą do stołu, jak dynamiczne Menedżery zasobów, a obliczenia tolerancji błędów sprawią, że będą one wykonalne dla grup obliczeniowych naukowych.

Spodziewam się, że MPI beats MapReduce łatwo, gdy zadanie jest iteracją nad zestawem danych, którego rozmiar jest porównywalny z pamięcią podręczną procesora, i gdy komunikacja z innymi zadaniami jest często wymagana. Wiele naukowych metod paralelizacji dekompozycji pasuje do tego wzoru. Jeśli MapReduce wymaga sekwencyjnego przetwarzania i komunikacji lub zakończenia procesów, to korzyści z wydajności obliczeniowej wynikające z radzenia sobie z problemem wielkości bufora są tracone.