Realne wykorzystanie Zookeeper [zamknięty]

HBase używa Zookeepera do koordynowania działań, za które" węzeł główny " był odpowiedzialny przed obecną wersją. Przejście do używania Zookeeper oznacza, że centralne sterowanie nie jest już pojedynczym punktem awarii.

Zookeeper jest bardzo wszechstronny; oto przykład użycia go do budowy rozproszonej kolejki współbieżnej:

Http://blog.cloudera.com/blog/2009/05/building-a-distributed-concurrent-queue-with-apache-zookeeper/

Można oczywiście również użyć go do tworzenie blokad zasobów itp. w systemie rozproszonym.

Stare pytanie, ale ponieważ ta strona pojawia się jako pierwsza w wyszukiwarce Google dla przypadków użycia zookeeper, pomyślałem, że najlepiej będzie podać zaktualizowaną listę

1. wikipedia
2. zookeeper wiki
3. real users

Projekty wolnego oprogramowania Powered by ZooKeeper:

• AdroitLogic UltraESB
• Akka
• Eclipse Communication Framework
• Eclipse Gyrex
• GoldenOrb
• Juju
• Katta
• KeptCollections
• Mezos
• Neo4j
• Norbert
• Talend ESB
• redis_failover

Apache Projects Powered by ZooKeeper:

• Apache Accumulo
• Apache BookKeeper
• Apache CXF DOSGi
• Apache Flume
• Apache Hadoop MapReduce
• Apache HBase
• Apache Hedwig
• Apache Kafka
• Apache S4
• Apache Solr

Źródło: https://cwiki.apache.org/confluence/display/ZOOKEEPER/PoweredBy

Norbert {[2] } jest dobrym przykładem ze skalowalnego systemu produkcyjnego. Ogólnie integruje Netty, bufory protokołów i Zookeeper w lekki framework do uruchamiania usług klastrowych. Bufory protokołów są używane do określania interfejsu API usługi, Netty implementuje abstrakcje warstw transportowych, a Zookeeper jest zasadniczo odporną na błędy usługą wykrywania.

Za każdym razem, gdy uruchamiana jest instancja usługi, Norbert rejestruje ją jako dostępną instancję określonego typu usługi. Od perspektywa implementacji, tworzy dwa drzewa Zoologiczne:

• "/ServiceName / members", który wymienia wszystkie znane instancje usługi
• "/ServiceName / available", który wyświetla aktualnie dostępne instancje usługi

Najważniejszą właściwością dla każdego węzła jest adres url używany do łączenia się z odpowiednią instancją usługi. Umożliwia równoważenie obciążenia po stronie Klienta - Klient Norbert znajduje listę adresów URL dla danej nazwy usługi i próbuje połączyć się z jednym z nich jest jakaś kolejność (np. round-robin lub random).

Solr pracuje również nad integracją ZooKeeper . Tutaj możesz zobaczyć, że używają do dynamicznej konfiguracji, shardingu, eliminacji SPOF( wybór master / slave), balansowania itp.

Jest dobry artykuł ZooKeeper - Król koordynacji o Zookeeperze w Found.

• [[2]}Storm jest używany przezliczba firm (Twitter i Groupon są dwa lepiej znane) i opiera się na Zookeeper.
• Kafka jest używana przez Linkedin i opiera się na Zookeeper.

Storm używa Zookeepera do przechowywania całego stanu, aby mógł odzyskać stan po awarii w dowolnej z jego (rozproszonych) usług składowych.

Pozwala to na bezpaństwowość usług składowych i po prostu pobranie lub synchronizację z serwerami Zookeeper kiedy potrzebne są dane konfiguracyjne. Jeśli kiedykolwiek musiałeś odzyskać serwer produkcyjny, będziesz wiedział, jaki to może być ból głowy!

Kafka Kolejka konsumenci mogą używać Zookeeper do przechowywania informacji (high water mark) o tym, co zostało zużyte z kolejki.

Zookeeper był używany do wielu rzeczy innych niż konfiguracja. Oto oficjalna lista implementacji rozproszonych prymitywów korzystających z zookeeper.

Http://zookeeper.apache.org/doc/trunk/recipes.html

W moim przypadku przechowujemy pliki konfiguracyjne w zookeeper ensemble do użycia w klastrze . Używamy schematu leader - > follower . Więc gdy jeden zookeeper jest wyłączony, przełączamy się na inny (tryb replikowany)

Neo4j wykorzystuje Zookeeper ich wysokiej dostępności enterprise server! http://docs.neo4j.org/chunked/milestone/ha.html

Datomic używa Apache zookeeper do zarządzania przechowywaniem danych w oparciu o riak.

Ponieważ Riak obsługuje tylko ostateczną spójność w tym czasie, System Datomic działający na Riak wykorzystuje również Apache ZooKeeper, wysoce dostępną usługę koordynacji. Datomic używa Zookeepera do koordynacji przełączania awaryjnego transactor i dla garstki kluczy w bazie danych, które muszą być aktualizowane za pomocą CAS. źródło: http://blog.datomic.com/2012/11/riak-and-couchbase-support.html

Oto kilka szczegółów na temat tego, jak HBase używa Zookeepera, w tym informacje o tym, jak zamierzają go używać w przyszłości. Zazwyczaj używają go do eliminowania SPOF na serwerach regionu poprzez wybory lidera realizowane przy użyciu ZooKeeper.