Co oznacza "Zrównoważenie" w kontekście Apache Kafka?

Każdemu konsumentowi w grupie konsumenckiej przypisana jest wyłącznie jedna lub więcej partycji tematycznych, a Rebalance jest ponownym przypisaniem własności partycji między konsumentami.

A Rebalance dzieje się, gdy:

• konsument dołącza do grupy
• konsument zamyka się czysto
Koordynator grupy uważa, że konsument nie żyje. Może to nastąpić po awarii lub gdy konsument jest zajęty długotrwałym przetwarzaniem, co oznacza, że nie heartbeats zostało wysłane w międzyczasie przez konsumenta do koordynatora grupy w skonfigurowanym interwale sesji
• dodawane są nowe partycje

Jako koordynator grupy (jeden z brokerów w klastrze) i lider grupy (pierwszy konsument, który dołącza do grupy) wyznaczony dla grupy konsumenckiej, Rebalance można mniej więcej opisać następująco:

• lider otrzymuje listę wszystkich konsumentów w grupie od na koordynator grupy (obejmie to wszystkich konsumentów, którzy wysłali bicie serca Ostatnio i które w związku z tym są uważane za żywe) i jest odpowiedzialny za przypisanie podzbioru partycji każdemu konsumentowi.
• po podjęciu decyzji o przypisaniu partycji (Kafka ma kilka wbudowanych zasad przypisywania partycji), lider grupy wysyła listę zadań dla koordynatora grupy , który wysyła ten informacje dla wszystkich konsumentów.

Dotyczy to Kafki 0.9, ale jestem pewien, że dla nowszych wersji nadal jest ważna.

Rebalance konsumenta zdecyduj, który konsument jest odpowiedzialny za który podzbiór wszystkich dostępnych partycji dla danego tematu(tematów). Na przykład możesz mieć temat z 20 partycjami i 10 konsumentami; pod koniec równoważenia możesz oczekiwać, że każdy konsument będzie czytał z 2 partycji. Jeśli wyłączysz 10 z tych konsumentów, możesz oczekiwać, że każdy konsument będzie miał 1 partycję po zakończeniu równoważenia. Consumer rebalance to dynamiczne przypisywanie partycji, które może obsługiwać automatycznie przez Kafka.

Koordynator grupy jest jednym z brokerów odpowiedzialnych za komunikację z konsumentami w celu osiągnięcia równowagi między consumers.In wcześniejsza wersja Zookeeper przechowuje szczegóły metadanych, ale najnowsza wersja przechowuje na brokerach. Koordynatorzy konsumentów otrzymują bicie serca i ankiety od wszystkich konsumentów z grup konsumenckich, więc miej świadomość bicia serca każdego konsumenta i zarządzaj jego przesunięciem na partycjach.

Lider Grupy: Jedna z prac grupy konsumenckiej jako lider grupy, który jest wybierany przez koordynatora grupy i będzie odpowiedzialny za podejmowanie decyzji podziału w imieniu wszystkich konsumentów w grupie.

Scenariusz Równoważenia:

1. Grupa konsumentów subskrybuje dowolne tematy

2. Instancja konsumencka nie mogła wysłać bicia serca podczas sesji.serce.przedział czasu.

3. Konsument długi proces przekracza limit czasu ankiety

4. Konsument Grupa konsumentów poprzez wyjątek

5. Dodano nową partycję.

6. Skalowanie w górę i w dół konsumenta. Dodano nowego konsumenta lub ręcznie usuń istniejącego konsumenta dla

Równowaga Konsumencka

Zrównoważenie konsumenta inicjowane, gdy konsument poprosi o dołączenie do grupy lub jej opuszczenie. Lider grupy otrzymuje od koordynatora grupy listę wszystkich aktywnych konsumentów. Lider grupy decyduje o podziale(partycjach) przypisanym każdemu konsumentowi za pomocą PartitionAssigner. Gdy lider grupy sfinalizuje przypisanie partycji, wysyła listę przypisań do koordynatora grupy, który odsyła te informacje do wszystkich konsumentów. Grupa wysyła tylko odpowiednie partycje do swojego konsumenta, a nie do innych partycji przypisanych konsumentowi. Tylko lider grupy świadomy wszystkich konsumentów i ich przypisanych partycji. Po zakończeniu balansu konsumenci zaczynają wysyłać bicie serca do koordynatora grupy, że żyje. Konsumenci wysyłają zapytanie OffsetFetch do grupy Koordynator, aby uzyskać Ostatnie popełnione przesunięcia dla przydzielonych partycji. Konsumenci zaczynają konsumować wiadomości dla nowo przypisanej partycji.

Zarządzanie Państwem

Podczas równoważenia, koordynator grupy ustawił swój stan na równoważenie i czekał, aż wszyscy konsumenci ponownie dołączą do grupy.

Kiedy grupa zaczyna równoważenie, koordynator grupy najpierw zmienia swój stan na równoważenie, aby wszyscy wchodzący w interakcję konsumenci zostali powiadomieni o ponownym dołączeniu do grupy. Po przywróceniu równowagi ukończony koordynator grupy Utwórz identyfikator nowej generacji i powiadom wszystkich konsumentów, a grupa przejdź do etapu synchronizacji, w którym konsumenci wysyłają żądanie synchronizacji i przejdź do poczekania, aż lider grupy zakończy generowanie nowej partycji przypisania. Gdy konsumenci otrzymali nową przydzieloną partycję, przenieśli się do stabilnego etapu.

Członkostwo Statyczne

W Static Membership, stan konsumenta będzie się utrzymywał, a po przywróceniu równowagi zostanie zastosowane to samo przypisanie. Wykorzystuje nowy group.instance.id aby zachować tożsamość członka. Więc nawet w najgorszym scenariuszu member id dostać przetasowania, aby przypisać nową partycję, ale nadal, ten sam Consumer instance-id otrzyma to samo przypisanie partycji

instanceId: A, memberId: 1, assignment: {0, 1, 2}
instanceId: B, memberId: 2, assignment: {3, 4, 5}
instanceId: C, memberId: 3, assignment: {6, 7, 8}

I po restarcie:

instanceId: A, memberId: 4, assignment: {0, 1, 2}
instanceId: B, memberId: 2, assignment: {3, 4, 5}
instanceId: C, memberId: 3, assignment: {6, 7, 8}   

Ref:

1. Https://www.confluent.io/blog/kafka-rebalance-protocol-static-membership

2. Https://cwiki.apache.org/confluence/display/KAFKA/KIP-345%3A+Introduce+static+membership+protocol+to+reduce+consumer+rebalances