Jak działa Zrównoważenie konsumentów w Kafka?

Zależy co masz na myśli mówiąc "zablokowany". Jeśli masz na myśli "czy istniejące połączenia są zamknięte po uruchomieniu równoważenia", to odpowiedź brzmi tak. Obecny algorytm równoważenia Kafki jest niestety niedoskonały.

Oto, co dzieje się podczas zrównoważenia konsumentów.

Załóżmy, że mamy temat z 10 partycjami (0-9)i jednym konsumentem (nazwijmy go consumer1). Gdy pojawia się drugi konsument (consumer2), zadanie równoważenia uruchamia się dla obu z nich (consumer1 otrzymuje event, consumer2 wykonuje początkowy balans). Teraz consumer1 zamyka wszystkie istniejące połączenia (nawet te, które wkrótce zostaną ponownie otwarte) i zwalnia własność partycji w Zookeeper dla wszystkich 10 partycji.

Następnie uruchamia algorytm przypisywania partycji i decyduje o tym, które partycje powinny zostać odebrane i ponownie domaga się własności partycji w Zookeeperze. Jeśli twierdzenie się powiodło consumer1 zaczyna pobierać swoje nowe partycje.

Tymczasem consumer2 uruchamia przypisanie partycji algorytm, a także stara się rościć sobie prawa do partycji również w Zookeeper. Claim powiedzie się tylko wtedy, gdy consumer1 zwolni własność na tych partycjach. Po pomyślnym uruchomieniu żądania consumer2 lub po nieudanym odebraniu partycji w ramach określonej liczby powtórzeń otrzymujemy wyjątek rebalance failed after n retries.

Jak zauważyłeś, zamiast po prostu zamykać połączenia i zwalniać własność partycji consumer1 nie jest już własnością, niepotrzebnie zamyka wszystkie swoje połączenia i uruchamia się ponownie za pomocą mniejsza ilość przegród. Ta sama historia z dodawaniem partycji (gdy zużyjemy filtr wieloznaczny i pojawi się nowy temat) - wszystkie połączenia są zamykane, a następnie otwierane ponownie zamiast tylko otwierać nowe.

Więc mam nadzieję, że to odpowiada na twoje pytanie - pobieranie zatrzymuje się, gdy rozpocznie się balans.