MapReduce alternatives

Czy są jakieś alternatywne paradygmaty do MapReduce (Google, Hadoop)? Czy jest jakiś inny rozsądny sposób, jak podzielić i połączyć duże problemy?

Author: Cartesius00, 2012-01-01
Source

5 answers

Definitywnie. Zobacz na przykład Bulk Synchronous Parallel . Map/Reduce jest w rzeczywistości bardzo ograniczonym sposobem zmniejszania problemów, jednak to ograniczenie sprawia, że można go zarządzać w ramach takich jak Hadoop. Pytanie brzmi, czy jest mniej kłopotów, aby wcisnąć swój problem do mapy / zmniejszyć ustawienie, lub czy łatwiej jest stworzyć schemat równoległości dla danej domeny i trzeba dbać o wszystkie szczegóły implementacji samodzielnie. Świnia, w rzeczywistości jest tylko warstwą abstrakcji na szczycie Hadoop, który automatyzuje wiele standardowych transformacji problemów z not-Map-Reduce - y do Map-Reduce-compatible.

Edit 26.1.13: znalazłem ładny up-to-date przegląd tutaj

 12
Author: Nicolas78,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2014-01-26 17:06:43

Phil Colella zidentyfikował siedem metod numerycznych do obliczeń naukowych opartych na wzorcach rozpraszania i gromadzenia danych między węzłami przetwarzania i nazwał je "karłami". Zostały one dodane przez innych, lista jest dostępna w Dwarf Mine :

  1. Gęsta Algebra Liniowa
  2. Sparse Linear Algebra
  3. Metody Spektralne
  4. Metody N-Ciała
  5. Siatki Strukturalne
  6. Unstructured Siatki
  7. MapReduce
  8. Logika Kombinacyjna
  9. Graph Traversal
  10. Programowanie Dynamiczne
  11. Backtrack i Branch-and-Bound
  12. Modele Graficzne
  13. Skończone Maszyny Stanowe
 9
Author: Pete Kirkham,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2012-01-04 12:55:57

Aktualizacja (sierpień 2014): Stratosfera nazywa się teraz Apache Flink (inkubacja).

Spójrz na stratosferę . Jest to kolejny Big Data runtime, który oferuje więcej operatorów (map, reduce, join, union, cross, iterate, ...). Pozwala również na definiowanie zaawansowanych wykresów przepływu danych (z Hadoop MR, trzeba byłoby łańcucha zadań).

Stratosfera wspiera również BSP z abstrakcją przetwarzania grafów (zwaną Spargel ).

Jeśli lubisz czytać prace naukowe, spójrz na Nephele/PACTs: a Programming Model and Execution Framework for Web-Scale Analytical Processing , wyjaśnia teoretyczne podstawy systemu.

Innym systemem w tej dziedzinie jest Spark , który ma swój własny model (RDDs). Ponieważ BSP zostało wymienione tutaj, również spójrz na GraphLab , oferta alternatywa dla BSP.

 2
Author: Robert Metzger,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2014-08-24 13:05:10

Microsoft Dryad twierdzi się, że jest bardziej ogólny niż MapReduce.

 0
Author: DarenW,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2013-05-22 20:41:11

Najlepszym alternatywą dla MapReduce jest Spark, ponieważ jest 10 do 100 razy szybszy niż MapReduce. A także bardzo łatwy w utrzymaniu, mniej kodowania wysoka wydajność.

 0
Author: Praveen K,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2018-04-21 16:22:28