Ustawianie liczby zadań na mapie i zmniejszanie zadań

Jak wspomina Praveen powyżej, podczas korzystania z podstawowych klas FileInputFormat jest tylko liczba podziałów wejściowych, które składają się na dane. Liczba reduktorów jest kontrolowana przez mapred.reduce.tasks określona w sposób, w jaki ją posiadasz: -D mapred.reduce.tasks=10 określiłaby 10 reduktorów. Zauważ, że spacja po -D jest wymagana ; jeśli pominiesz spację, właściwość konfiguracyjna jest przekazywana do odpowiedniego JVM, a nie do Hadoop.

Czy określasz 0, ponieważ nie ma pracy redukcyjnej do wykonania? W w takim przypadku, jeśli masz problemy z parametrem run-time, możesz również ustawić wartość bezpośrednio w kodzie. W przypadku wystąpienia JobConf job, wywołanie

job.setNumReduceTasks(0);

Wewnątrz, powiedzmy, Twojej implementacji Tool.run. To powinno produkować dane wyjściowe bezpośrednio z maperów. Jeśli Twoje zadanie nie generuje żadnych danych wyjściowych (ponieważ używasz frameworka tylko do efektów ubocznych, takich jak Połączenia sieciowe lub przetwarzanie obrazów, lub jeśli wyniki są w całości rozliczane w licznikach), możesz wyłączyć wyjście również wywołując

job.setOutputFormat(NullOutputFormat.class);

Ważne jest, aby pamiętać, że Framework MapReduce w Hadoop pozwala nam tylko

Zaproponuj liczbę zadań na mapie dla zadania

Które, jak wskazano powyżej, odpowiadają liczbie podziałów wejściowych dla zadania. W przeciwieństwie do jego zachowania dla liczby reduktorów (które jest bezpośrednio związane z liczbą plików wyjściowych przez zadanie MapReduce), gdzie możemy

Żądać , aby dostarczał N reduktorów.

Aby wyjaśnić to na przykładzie:

Załóżmy, że rozmiar pliku wejściowego hadoop wynosi 2 GB i ustawiłeś rozmiar bloku jako 64 MB, więc 32 zadania maperów są ustawione do uruchomienia, podczas gdy każdy maper będzie przetwarzał 64 MB bloku, aby zakończyć zadanie Mapera Twojego zadania Hadoop.

= = > Liczba uruchamianych maperów jest całkowicie zależna od 1) rozmiaru pliku i 2) rozmiaru bloku

Załóżmy, że uruchomiłeś hadoop na klastrze o rozmiarze 4: Załóżmy, że ustawiłeś mapred.Mapa.zadania i mapred.zmniejsz.parametry zadań w Twoim konf plik do węzłów w następujący sposób:

Node 1: mapred.map.tasks = 4 and mapred.reduce.tasks = 4
Node 2: mapred.map.tasks = 2 and mapred.reduce.tasks = 2
Node 3: mapred.map.tasks = 4 and mapred.reduce.tasks = 4
Node 4: mapred.map.tasks = 1 and mapred.reduce.tasks = 1

Załóżmy, że ustawiłeś powyższe paramtery dla 4 węzłów w tym klastrze. Jeśli zauważysz, że węzeł 2 ustawił odpowiednio tylko 2 i 2, ponieważ zasoby przetwarzania węzła 2 mogą być mniejsze, np. (2 procesory, 2 rdzenie), a węzeł 4 jest nawet ustawiony niżej, odpowiednio, tylko 1 i 1, może to być spowodowane zasobami przetwarzania na tym węźle jest 1 Procesor, 2 rdzenie, więc nie można uruchomić więcej niż 1 zadanie mapera i 1 reduktora.

Więc po uruchomieniu zadania Node 1, Node 2, Node 3, Node 4 są skonfigurowane do pracy na max. ogółem (4+2+4+1)11 zadania mapera jednocześnie spośród 42 zadań mapera, które muszą zostać ukończone przez zadanie. Po wykonaniu przez każdy węzeł zadań mapowych, zajmie on pozostałe zadania mapera pozostawione w 42 zadaniach mapera.

Teraz przechodzimy do reduktorów, jak ustawisz mapred.zmniejsz.tasks = 0, więc otrzymujemy tylko wyjście mappera w 42 plikach (1 plik dla każdego zadania mappera) i bez wyjścia reduktora.

W nowszej wersji Hadoop, istnieje znacznie więcej ziarnistych mapreduce.job.running.map.limit i mapreduce.job.running.reduce.limit, które pozwalają ustawić liczbę maperów i reduktorów niezależnie od rozmiaru podziału plików hdfs. Jest to pomocne, jeśli jesteś pod przymusem, aby nie zabierać dużych zasobów w klastrze.

JIRA

Z Twojego dziennika zrozumiałem, że masz 12 plików wejściowych, ponieważ generowanych jest 12 map lokalnych. Lokalne mapy Rack są generowane dla tego samego pliku, jeśli niektóre bloki tego pliku znajdują się w innym węźle danych. Ile macie węzłów danych?

W twoim przykładzie części -D nie są pobierane:

hadoop jar Test_Parallel_for.jar Test_Parallel_for Matrix/test4.txt Result 3 \ -D mapred.map.tasks = 20 \ -D mapred.reduce.tasks =0

Powinny pojawić się po części classname w następujący sposób:

hadoop jar Test_Parallel_for.jar Test_Parallel_for -Dmapred.map.tasks=20 -Dmapred.reduce.tasks=0 Matrix/test4.txt Result 3

Spacja po -D jest jednak dozwolona.

Zauważ również, że zmiana liczby maperów jest prawdopodobnie złym pomysłem, o czym inni ludzie tutaj wspominali.

Liczba zadań map jest bezpośrednio określona przez liczbę części, które zostały podzielone. Rozmiar fragmentu danych (tj. rozmiar bloku HDFS) jest kontrolowany i może być ustawiony dla pojedynczego pliku, zestawu plików, katalogu(-ów). Tak więc ustawienie określonej liczby zadań map w zadaniu jest możliwe, ale wymaga ustawienia odpowiedniego rozmiaru bloku HDFS dla danych wejściowych zadania. mapred.Mapa.zadania mogą być również użyte do tego celu, ale tylko wtedy, gdy podana wartość jest większa niż liczba podziałów dla wejścia zadania data.

Kontrolowanie liczby reduktorów poprzez mapred.zmniejsz.zadania {[2] } jest poprawne. Jednak ustawienie go na zero jest raczej szczególnym przypadkiem: wyjście zadania jest połączeniem wyjść maperów (niezasortowanych). W odpowiedzi Matta widać więcej sposobów na ustawienie liczby reduktorów.

Jednym ze sposobów na zwiększenie liczby maperów jest podanie danych wejściowych w postaci podzielonych plików[można użyć polecenia Split Linuksa]. Hadoop streaming zwykle przypisuje, że wielu maperów, ponieważ istnieją pliki wejściowe [jeśli istnieje duża liczba plików], jeśli nie będzie próbował podzielić dane wejściowe na równe części.

• Użyj -d property=value zamiast-d property = value (wyeliminuj dodatkowe spacje). Tak więc-d mapred.zmniejsz.tasks=value would work dobrze.

• Ustawienie liczby zadań na mapie nie zawsze odzwierciedla posiadaną wartość Ustaw, ponieważ zależy to od rozmiaru podzielonego i zastosowanego formatu wejścia.

• Ustawienie liczby redukcji zdecydowanie nadpisze liczbę redukuje ustawienia po stronie klastra/klienta.

Zgadzam się, że zadanie number mapp zależy od podziału wejściowego, ale w niektórych scenariuszach widziałem jego trochę inny

Case-1 stworzyłem proste zadanie mapp tylko on tworzy 2 duplikaty z pliku put (dane ia same) Komenda, którą podałem poniżej

Bin / hadoop jar contrib / streaming / hadoop-streaming-1.2.1.jar-d mapred.zmniejsz.tasks=0-input / home / sample.csv-output / home / sample_csv112.txt-mapper /home/amitav/workpython/readcsv.py

Case-2 więc zrestartowałem zadanie mapp do 1 wyjście wyszło poprawnie z jednym plikiem wyjściowym, ale jeden reduktor również znalazł się na ekranie interfejsu użytkownika, chociaż ograniczyłem pracę reduktora. Polecenie jest podane poniżej.

Bin / hadoop jar contrib / streaming / hadoop-streaming-1.2.1.jar-d mapred.Mapa.zadania = 1 mapred.zmniejsz.tasks=0-input / home / sample.csv-output / home / sample_csv115.txt-mapper /home/amitav/workpython/readcsv.py

Pierwsza część już została wysłuchana, " tylko sugestia" W drugiej części również odpowiedź: "usuń dodatkowe spacje wokół =" Jeśli oba nie zadziałały, czy jesteś pewien, że zaimplementowałeś ToolRunner ?

Liczba zadań map zależy od rozmiaru pliku, jeśli chcesz n liczby Map, podziel Rozmiar Pliku przez N w następujący sposób:

conf.set("mapred.max.split.size", "41943040"); // maximum split file size in bytes
conf.set("mapred.min.split.size", "20971520"); // minimum split file size in bytes

Ludzie z tej teorii wygląda na to, że nie możemy uruchomić map reduce jobs równolegle.

Powiedzmy, że skonfigurowałem łącznie 5 zadań mapera do działania na danym węźle.Chcę również użyć tego w taki sposób, że job1 może używać 3 maperów, a JOB2 może używać 2 maperów, aby job mógł działać równolegle. Ale powyższe właściwości są ignorowane, a następnie jak można wykonywać zadania równolegle.

Z tego co rozumiem czytając wyżej, to zależy od plików wejściowych. Jeśli pliki wejściowe są 100 oznacza - Hadoop utworzy 100 zadań map. Zależy to jednak od konfiguracji węzła, od tego, ile można uruchomić w danym momencie. Jeśli węzeł jest skonfigurowany do uruchamiania 10 zadań mapowych - tylko 10 zadań mapowych będzie działać równolegle, wybierając 10 różnych plików wejściowych ze 100 dostępnych. Zadania mapy będą nadal pobierać więcej plików po zakończeniu przetwarzania pliku.