Jaki jest cel "uber mode" w hadoop?
Cześć jestem Big Data newbie. Przeszukałem cały internet, aby znaleźć, co dokładnie uber mode jest. Im więcej Szukałem, tym bardziej byłem zdezorientowany. Czy ktoś może mi pomóc odpowiadając na moje pytania?
- Do czego służy tryb uber?
- czy to działa inaczej w mapred 1.x i 2.x?
- i gdzie mogę znaleźć ustawienie dla niego?
4 answers
Co to jest tryb UBER w Hadoop2?
Normalnie mappery i reduktory będą uruchamiane przez ResourceManager( RM), RM utworzy osobny kontener dla mappera i reduktora. Konfiguracja Ubera, pozwoli uruchomić mapper i reduktory w tym samym procesie co ApplicationMaster (AM).
Uber jobs:
Uber jobs to zadania wykonywane w aplikacji MapReduce ApplicationMaster. Zamiast tego komunikować się z RM, aby utworzyć kontenery mapera i reduktora. Na AM uruchamia mapę i redukuje zadania w ramach własnego procesu, unikając kosztów związanych z uruchamianiem i komunikowaniem się ze zdalnymi kontenerami.
Dlaczego
Jeśli masz mały zestaw danych lub chcesz uruchomić MapReduce na małej ilości danych, Konfiguracja Ubera pomoże Ci, skracając dodatkowy czas, który MapReduce normalnie spędza w fazie mapper i Reducer.
Czy mogę skonfigurować Uber dla wszystkich zadań MapReduce?
Od teraz, oferty pracy tylko na mapie oraz obsługiwane są zadania z jednym reduktorem.
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2017-02-23 06:12:46
Uber Job występuje, gdy wiele maperów i reduktorów jest połączonych w jeden kontener. Istnieją cztery podstawowe ustawienia dotyczące konfiguracji zadań Ubera w mapred-site.xml. Opcje konfiguracji Dla zadań Uber:
mapreduce.job.ubertask.enablemapreduce.job.ubertask.maxmapsmapreduce.job.ubertask.maxreducesmapreduce.job.ubertask.maxbytes
Więcej szczegółów znajdziesz tutaj: http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.1.15/bk_using-apache-hadoop/content/uber_jobs.html{[19]
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2015-11-03 15:24:46
W kategoriach hadoop2.x, Uber jobs to zadania, które są uruchamiane w samej aplikacji mapreduce ApplicationMaster, tzn. nie są tworzone oddzielne kontenery dla map i reduce jobs, a zatem zapisywane są obciążenia związane z tworzeniem kontenerów i komunikacją się z nimi.
Jeśli chodzi o pracę (z hadoop 1.x i 2.x) jest zaniepokojony, przypuszczam, że różnica jest obserwowalna tylko jeśli chodzi o terminologie 1.x i 2.x, bez różnicy w pracy.
Paramy konfiguracyjne są takie same jak te wymienione przez Navneeta Kumara w jego odpowiedzi.
PS: używaj go tylko z małym zestawem danych.
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2015-06-19 09:16:50
Całkiem dobre odpowiedzi na "co to jest Uber Mode?" Aby dodać więcej informacji dla "Dlaczego?"
Mistrz aplikacji decyduje jak uruchomić zadania, które sprawiają w górę pracy MapReduce. Jeśli zadanie jest małe, Mistrz aplikacji może wybrać, aby uruchomić zadania w tym samym JVM jak siebie. Dzieje się tak, gdy ocenianie kosztów przydzielania i uruchamiania zadań w nowych kontenerach przeważa nad zyskiem z uruchamiania ich równolegle, w porównaniu z uruchamianiem ich kolejno na jednym węzeł.
Teraz pytania mogą być podniesione jako " co kwalifikuje się jako mała praca?
Domyślnie małe zadanie to takie, które ma mniej niż 10 maperów, tylko jeden reduktor i rozmiar wejściowy mniejszy niż rozmiar jednego bloku HDFS.
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2017-02-23 06:14:51