Kiedy w Hadoop rozpoczynają się zadania reduce?

Faza redukcji może rozpocząć się na długo przed wywołaniem reduktora. Gdy tylko " a " maper zakończy zadanie, wygenerowane dane zostaną sortowane i tasowane (co obejmuje wywołanie combiner i partitioner). "Faza" reduktora rozpoczyna się w momencie rozpoczęcia przetwarzania danych po maperze. Jak te przetwarzanie odbywa się, widać postęp w procentach reduktorów. Jednak żaden z reduktorów nie został jeszcze wezwany. W zależności od liczby dostępnych/używanych procesorów, rodzaju danych i liczba oczekiwanych reduktorów, możesz zmienić parametr, jak opisano powyżej przez @ Donald-miner.

Z tego co rozumiem Faza redukcyjna zacznij od fazy Mapy i kontynuuj pobieranie zapisu z map. Ponieważ jednak po fazie map następuje faza sortowania i przetasowania, wszystkie wyjścia muszą zostać posortowane I wysłane do reduktora. Więc logicznie można sobie wyobrazić, że redukcja fazy rozpoczyna się dopiero po fazie map, ale w rzeczywistości ze względu na wydajność reduktory są również inicjowane z maperami.

Procent pokazany dla fazy reduction jest w rzeczywistości o ilości danych skopiowanych z wyjścia map do katalogów wejściowych reduktorów. Aby wiedzieć, kiedy zaczyna się kopiowanie? Jest to konfiguracja, którą możesz ustawić tak, jak Donald pokazał powyżej. Po skopiowaniu wszystkich danych do reduktorów(tj. 100% zmniejszyć) wtedy reduktory zaczynają działać, a tym samym mogą zamarznąć w "100% zmniejszyć", jeśli kod reduktora jest I / O lub intensywny procesor.

Rozważ przykład WordCount, aby lepiej zrozumieć, jak działa zadanie Map reduce.Załóżmy, że mamy duży plik, powiedzmy powieść i naszym zadaniem jest znalezienie liczby razy każde słowo występuje w pliku. Ponieważ plik jest duży, może być podzielony na różne bloki i replikowany w różnych węzłach roboczych. Zadanie zliczania słów składa się z mapowania i zmniejszania zadań. Zadanie map przyjmuje jako wejście każdy blok i tworzy pośrednią parę klucz-wartość. W tym przykładzie, ponieważ jesteśmy zliczając ilość wystąpień słów, maper podczas przetwarzania bloku otrzymałby pośrednie wyniki w postaci (word1, count1), (word2, count2) itd. Pośrednie wyniki wszystkich maperów są przekazywane przez fazę shuffle, która zmieni kolejność wyników pośrednich.

Załóżmy, że nasze wyjście mapy z różnych mapperów ma następującą postać:

Mapa 1:- (is,24) (was,32) (and, 12)

Map2 :- (my,12) (is, 23) (was,30)

Wyjścia mapy są sortowane w taki sposób, że te same wartości kluczowe są podane do tego samego reduktora. Tutaj oznaczałoby to, że klucze odpowiadające is, was itp idą tak samo reducer.It jest reduktorem, który wytwarza wyjście końcowe, które w tym przypadku byłoby:- (and, 12) (is,47) (my, 12) (was,62)

Reduce uruchamia się dopiero po tym, jak maper wyłowił tam zadanie, Reducer musi komunikować się ze wszystkimi maperami, więc musi poczekać, aż ostatni maper skończy swoje zadanie.jednak mapper zaczyna przesyłać dane do momentu ukończenia zadania.

Gdy Mapper zakończy swoje zadanie, Reducer rozpocznie swoje zadanie, aby zmniejszyć dane, to jest zadanie Mapreduce.

Zadania reduktora zaczynają się dopiero po completion wszystkich maperów.

Ale transfer danych następuje po each mapie. Właściwie to jest operacja ciągnięcia.

Oznacza to, że za każdym razem reducer będzie pytał każdego maptaska, czy ma jakieś dane do pobrania z Map.Jeśli okaże się, że jakiś maper wykonał swoje zadanie, Reducer pobiera dane pośrednie.

Dane Pośrednie Z Mappera są przechowywane w disk. A transfer danych z Mapera w celu zmniejszenia odbywa się przez sieć (Data Locality nie jest zachowany w fazie redukcji)