Monitoring UI dla Apache kafka-kafka manager vs Kafka monitor [zamknięty]
Oba narzędzia są dobre. Nie jesteśmy jednak w stanie podjąć decyzji, która powinna znaleźć się w naszym stosie wdrożeniowym. Który jest lepszy i dlaczego i w jakim scenariuszu?
'Kafka manager' z yahoo wygląda na starszego, a 'Kafka monitor' z LinkedIn jest nowszy
Kafka Monitor- 
4 answers
Soczewki
Lenses (ex Landoop) usprawnia Kafkę dzięki interfejsowi użytkownika, strumieniowemu silnikowi SQL i monitorowaniu klastrów. Umożliwia szybsze monitorowanie potoków danych Kafka.
Zapewniają darmowy docker all-in-one (Lens Box ), który może obsługiwać jednego brokera do 25m wiadomości. Zauważ, że jest to zalecane dla środowisk programistycznych.
Cloudera SMM
Streams Messaging Manager to rozwiązanie do monitorowania i zarządzania klastry uruchamiające Cloudera lub Hortonworks kafka. Jest również wyposażony w możliwość replikacji.
Confluent
Inną opcją jest Confluent Enterprise , która jest dystrybucją Kafka dla środowisk produkcyjnych. Zawiera również Control Centre , który jest systemem zarządzania dla Apache Kafka, który umożliwia monitorowanie klastrów i zarządzanie z poziomu interfejsu użytkownika.
Yahoo CMAK (Cluster Manager dla Apache Kafka, wcześniej znany jako Kafka Kierownik)
Kafka Manager lub CMAK {[5] } to narzędzie do monitorowania Kafki oferujące mniejszą funkcjonalność w porównaniu z wyżej wymienionymi narzędziami.
KafDrop
KafDrop jest interfejsem do monitorowania klastrów Apache Kafka. Narzędzie wyświetla informacje, takie jak brokerzy, tematy, partycje, a nawet umożliwia wyświetlanie wiadomości. Jest to lekka aplikacja, która działa na Spring Boot i wymaga bardzo małej konfiguracji.
Kafka Tool
Kafka Tool to aplikacja GUI do zarządzania i korzystania z klastrów Apache Kafka. Zapewnia intuicyjny interfejs użytkownika, który pozwala szybko przeglądać obiekty w klastrze Kafka, a także wiadomości przechowywane w tematach klastra. Zawiera funkcje skierowane zarówno do programistów, jak i administratorów.
Jeśli nie stać Cię na licencje, wybierz Yahoo Kafka Manager, LinkedIn Burrow lub KafDrop. / Align = "left" / produkty są najlepsze, ale niestety wymagają licencji.
Więcej szczegółów można znaleźć w moim wpisie na bloguPrzegląd narzędzi do monitorowania interfejsu użytkownika dla klastrów Apache Kafka.
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2020-04-21 14:12:26
Jeśli chcesz zapłacić za licencje i obsługę klastra Kafka, możesz użyć Confluent Control Center
Alternatywnie, darmową trasą byłoby użycie eksporterów JMX z Datadog i / lub Prometheus / Influxdb (z Grafana dashboards), aby zobaczyć ogólne kontrole stanu systemu (CPU, sieci, pamięci itp.)... O wiele więcej informacji niż tylko monitorowanie procesów Kafka za pomocą Kafka tools
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2018-12-04 14:09:31
W mojej firmie korzystaliśmy z produktu Yahoo, badaliśmy produkt LinkedIn i kilka innych wymienionych. Moja firma ostatecznie zdecydowała się na zastosowanie Prometheus+Grafana. Wszystkim się podoba i Gorąco polecam.
Istnieją dwie duże zalety Prometeusza + Grafana. Pierwszym jest to, że w pełni funkcjonalne Kafka metrics Połknięcie + wizualizacja+Alertowanie, ale nie ogranicza się do Kafka. Podczas gdy nasze początkowe potrzeby polegały tylko na monitorowaniu Kafki, chcieliśmy również metryki na serwerach HTTP + ruch, wykorzystanie serwera (cpu / ram/dysk) i niestandardowe metryki na poziomie aplikacji. Prometeusz zajmuje się tym wszystkim. Po drugie, Prometheus + Grafana są bardzo wysokiej jakości, dobrze zaprojektowane i łatwe w użyciu. Wiele innych produktów w tej przestrzeni jest starych i skomplikowanych w obsłudze. Prometheus + Grafana są doskonałe do pracy, są bardzo konfigurowalne, dopracowane i łatwe w użyciu. Grafana ma bardzo krzykliwy + funkcjonalny interfejs JavaScript, który pozwala na tworzenie dokładnie dostosowanych pulpitów nawigacyjnych, które chcesz. Prometheus ma bardzo dopracowany mechanizm zbierania metryk, silnik przechowywania, język zapytań i system alarmowania. Coś takiego jak Yahoo Kafka Manager ma znacznie bardziej ograniczoną funkcjonalność we wszystkich tych kategoriach.
Jeśli chcesz spróbować Prometeusza, musisz zrobić dwie rzeczy:
1) Zainstaluj + skonfiguruj JMX->Prometheus exporter na swoim Kafka brokers: https://github.com/prometheus/jmx_exporter
2) Skonfiguruj serwer Prometheus, aby zbierać metryki + i skonfiguruj Grafana dashboard, aby wyświetlić wykresy, które chcesz.
Powiedziałbym również, że jest to tylko do monitorowania+pulpity nawigacyjne + alarmowanie. W przypadku funkcji zarządzania nadal potrzebujesz innych narzędzi.
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2018-07-24 17:21:00
Kafka-monitor jest (wbrew nazwie) narzędziem do generowania i raportowania obciążenia. Kafka-manager Yahoo jest ogólnym narzędziem monitorującym.
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2018-03-14 15:27:35