Dlaczego konsumenci Kafki łączą się z zookeeperem, a producenci otrzymują metadane od brokerów?

Po pierwsze, zookeeper jest potrzebny tylko dla konsumentów na wysokim poziomie. SimpleConsumer nie wymaga do pracy zookeepera.

Głównym powodem, dla którego zookeeper jest potrzebny dla wysokiego poziomu konsumentów, jest śledzenie zużytych offsetów i obsługa równoważenia obciążenia.

Jeśli chodzi o śledzenie offsetowe, wyobraź sobie następujący scenariusz: uruchamiasz konsumenta, zużywasz 100 wiadomości i wyłączasz konsumenta. Następnym razem, gdy uruchomisz swojego konsumenta, prawdopodobnie będziesz chciał wznowić swoją ostatnią konsumpcję offset (czyli 100), a to oznacza, że musisz gdzieś przechować maksymalną zużytą offset. Tutaj wkracza zookeeper: przechowuje offsety dla każdej grupy/tematu / partycji. Więc w ten sposób następnym razem, gdy uruchomisz swojego konsumenta, może zapytać: "Hej zookeeper, od czego powinienem zacząć konsumować?". Kafka zmierza w kierunku możliwości przechowywania offsetów nie tylko w zookeeperze, ale także w innych magazynach (na razie dostępne są tylko zookeeper i kafka magazynów offsetowych i nie jestem pewien kafka storage jest w pełni zaimplementowany).

Jeśli chodzi o równoważenie obciążenia, ilość wytwarzanych wiadomości może być dość duża, aby mogły być obsługiwane przez jedną maszynę i prawdopodobnie będziesz chciał w pewnym momencie dodać moc obliczeniową. Powiedzmy, że masz temat z 100 partycjami i do obsługi tej ilości wiadomości masz 10 maszyn. Istnieje kilka pytań, które pojawiają się tutaj w rzeczywistości:

• jak te 10 maszyn powinno dzielić partycje między sobą?
• co się stanie, jeśli jeden z maszyny umierają?
• co się stanie, jeśli chcesz dodać kolejną maszynę?

I znowu, tutaj zaczyna się zookeeper: śledzi wszystkich konsumentów w grupie i każdy konsument wysokiego poziomu jest subskrybowany na zmiany w tej grupie. Chodzi o to, że gdy konsument pojawia się lub znika, zookeeper powiadamia wszystkich konsumentów i uruchamia rebalance tak, że dzielą partycje prawie równo (np. aby zrównoważyć obciążenie). W ten sposób gwarantuje, że jeśli jeden z konsumentów umrze, inni będą kontynuować przetwarzanie zaborów, które były własnością tego konsumenta.