name node Vs secondary name node

Rzeczy zostały zmienione na przestrzeni lat, szczególnie z Hadoop 2.x . Teraz Namenode jest wysoce dostępny z funkcją fail over.

Secondary Namenode jest opcjonalne teraz & Standby Namenode został użyty do przełączania awaryjnego.

Standby NameNode będzie na bieżąco ze wszystkimi zmianami systemu plików wprowadzanymi przez Active NameNode.

HDFS wysoka dostępność jest możliwa dzięki dwóm opcjom: NFS oraz Quorum Journal Manager ale Quorum Journal Manager jest preferowaną opcją.

Zajrzyj do dokumentacji Apache

From Slide 8 from: http://www.slideshare.net/cloudera/hdfs-futures-world2012-widescreen

Gdy jakakolwiek modyfikacja przestrzeni nazw jest wykonywana przez aktywny węzeł, trwale rejestruje zapis modyfikacji do większości tych JNs. Węzeł czuwania odczytuje te zmiany z JNs i stosuje się do własnej nazwy miejsce.

W przypadku przełączania awaryjnego, czuwanie upewni się, że przeczytało wszystkie edycje z JounalNodes przed awansem do stanu aktywnego. Zapewnia to, że stan przestrzeni nazw jest w pełni zsynchronizowany przed przejściem awaryjnym.

Jak działa proces przełączania awaryjnego Hadoop Namenode?

W związku z Państwa zapytaniami dotyczącymi teorii czapek dla Hadoop:

1. może być silny spójny
[52]}HDFS jest prawie bardzo Dostępny, chyba że spotkasz się z jakimś pechem Jeśli wszystkie trzy repliki bloku są wyłączone, nie otrzymasz danych.]}
2. obsługuje partycję danych

Name Node jest węzłem głównym, w którym wszystkie metadane są okresowo przechowywane w plikach fsimage i editlog. Ale, gdy nazwa węzła w dół węzeł wtórny będzie online, ale ten węzeł ma tylko dostęp do odczytu do plików fsimage i editlog i nie ma do nich dostępu do zapisu . Wszystkie operacje węzła wtórnego będą przechowywane w folderze tymczasowym . gdy name node powróci do trybu online, folder tymczasowy zostanie skopiowany do name node, a namenode zaktualizuje pliki fsimage i editlog.

Nawet w HDFS High Availability, gdzie są dwa Namenody zamiast jednego NameNode i drugiego Namenode, nie ma dostępności w ścisłym sensie CAP. Dotyczy to tylko komponentu NameNode i nawet tam, jeśli partycja sieciowa oddziela klienta od obu nazw, klaster jest skutecznie niedostępny.

Jeśli wyjaśnię to w prosty sposób, Załóżmy nazwę węzła jako men (praca/na żywo) i nazwę wtórną węzła jako bankomat (przechowywanie/przechowywanie danych)
Więc wszystkie funkcje wykonywane przez NN lub men tylko, ale jeśli pójdzie w dół / nie wtedy SNN będzie bezużyteczny to nie działa, ale później może być używany do odzyskiwania danych lub dzienników

Po uruchomieniu NameNode ładuje Fsimage i powtarza dzienniki edycji, aby utworzyć najnowszą zaktualizowaną przestrzeń nazw. Ten proces może zająć dużo czasu, jeśli Rozmiar pliku dziennika edycji jest duży, a tym samym wydłużyć czas uruchamiania. Zadaniem węzła nazw drugorzędnych jest okresowe sprawdzanie dziennika edycji i odtwarzanie w celu utworzenia zaktualizowanego FSImage i przechowywania w trwałej pamięci masowej. Po uruchomieniu Name Node nie musi ponownie odtwarzać dziennika edycji, aby utworzyć zaktualizowany fsimage, używa fsimage utworzonego przez secondary name node.

Namenode jest węzłem głównym, który zawiera metadane w sensie fsimage, a także zawiera dziennik edycji. Dziennik edycji zawiera Ostatnio dodane / usunięte informacje o blokach w przestrzeni nazw kodu nazw. Plik fsimage zawiera metadane całego systemu hadoop w trwałej pamięci masowej. Za każdym razem, gdy musimy wprowadzić zmiany na stałe w fsimage, musimy ponownie uruchomić namenode, aby informacje o logach edycji mogły być zapisane w namenode, ale zajmuje to dużo czasu.

A secondary namenode jest używany do aktualizacji fsimage. Drugi węzeł nazw będzie miał dostęp do dziennika edycji i wprowadzi zmiany w fsimage na stałe, aby następnym razem namenode mógł się szybciej uruchomić.

W zasadzie drugorzędny namenode jest pomocnikiem dla namenode i wykonuje funkcję porządkowania dla namenode.