kafka-consumer-api

Różnica między session.timeout.ms oraz max.poll.interval.ms dla Kafka>= 0.10.1

Nie wiem dlaczego potrzebujemy obu session.timeout.ms i max.poll.interval.ms i kiedy mielibyśmy użyć jednego, drugiego lub ob ... serca od konsumenta, zanim założy, że jest martwy. Również jak to się zachowuje w wersjach 0.10.1.0 + opartych na KIP-62 ?

Co oznacza "Zrównoważenie" w kontekście Apache Kafka?

Jestem nowym użytkownikiem Kafki i testuję go od około 2-3 tygodni. Wierzę, że w tej chwili mam dobre zrozumienie, jak Kafka ... rzekazanie wynikowej własności partycji konfiguracja dla wszystkich konsumentów grupy poddawanych równoważeniu operacja.

Zrozumienie tematów i partycji Kafki

Zaczynam się uczyć Kafki dla potrzeb rozwiązań korporacyjnych. Podczas moich odczytów, przyszło mi do głowy kilka pytań: ... przykład: retencja była przez 3 godziny, a następnie czas mija, w jaki sposób przesunięcie jest obsługiwane po obu stronach?

Jak działa Zrównoważenie konsumentów w Kafka?

Gdy nowy konsument/brorker jest dodawany lub wyłączany, Kafka uruchamia operację równoważenia. Czy zmiana równowagi Kafki jest operacją blokującą? Czy konsumenci Kafki są blokowani podczas trwającej operacji przywracania równowagi?

Czy klucz jest wymagany w ramach wysyłania wiadomości w Kafce

KeyedMessage<String, byte[]> keyedMessage = new KeyedMessage<String, byte[]>(request.getRequestTopicName(),Serial ... łać z delete.retention.ms , Czy muszę wysłać klucz jako część wiadomości? Czy dobrze jest zrobić klucz jako część wiadomości

Kafka Consumer Rebalancing Algorithm

Czy ktoś może mi powiedzieć, czym jest algorytm równoważenia dla konsumentów Kafki? Chciałbym zrozumieć, jak liczenie partycji i wątki konsumenckie wpływają na to. Dziękuję,

Kafka Msg VS REST Calls

Obecnie w świecie mikroserwisów widzę wiele projektów w moim miejscu pracy, które wykorzystują wiadomości kafka, gdy można os ... je jako wiadomość do tematu kafka, aby zostały zużyte przez usługę inwentaryzacji Którą drogę byś wybrał i jaka jest ocena

Kafka: Consumer API vs Streams API

Ostatnio zacząłem uczyć się Kafki i kończę z tym pytaniem. Jaka jest różnica między konsumentem a strumieniem? Dla mnie, je ... iej? I did Google na to, ale nie dostał żadnych dobrych odpowiedzi na to. Przepraszam, jeśli to pytanie jest zbyt trywialne.

Jak napisać plik do producenta Kafka

Próbuję załadować prosty plik tekstowy zamiast standardowego wejścia w Kafce. Po pobraniu Kafki wykonałem następujące kroki: ... towy do producenta, który może być widoczny bezpośrednio przez Konsumenta. Każda pomoc będzie naprawdę mile widziana. Dzięki!

Kafka Consumer get key value pair

Obecnie pracuję z Kafką i Flinkiem, mam Kafkę działającą na moim lokalnym komputerze i stworzyłem temat, który jest konsumowa ... egółów na temat wiadomości ? powiedzmy, że czas? klucz? Sprawdzilem dokumentacje Kafki ale nie znalazlem czegos na ten temat

Jaka jest różnica między najwcześniejszymi i najnowszymi wartościami przesunięcia Kafki

producer wysyła wiadomości 1, 2, 3, 4 consumer odbiera wiadomości 1, 2, 3, 4 consumer awarie / rozłączenia producer wysył ... amiast 7 Dla tego rodzaju wyniku, jaką wartość {[5] } muszę użyć i jakie są inne zmiany / konfiguracje, które muszę zrobić

Jak zapisać najnowszy offset, który Spark zużyty do ZK lub Kafka i może odczytać po ponownym uruchomieniu

Używam Kafka 0.8.2 do odbioru danych z AdExchange następnie używam Spark Streaming 1.4.1 do przechowywania danych do MongoDB. ... Spark ale to samo. Jak zapisać najnowszą spark offset do zookeeper lub kafka, a następnie odczytać z niej najnowszą offset?

Kafka consumer pobieranie metadanych dla tematów nie powiodło się

Próbuję napisać klienta Javy dla serwerów Kafka i ZooKeeper stron trzecich. Jestem w stanie wymienić i opisać tematy, ale kie ... o być produkt układu sieci: pakiety są zniekształcone przez Haproxy i wysyłane przez VPN. Co dokładnie jest w pracy Tutaj?