apache-kafka
Apache Kafka z Avro i Schema Repo-gdzie w wiadomości znajduje się Id schema?
Chcę użyć Avro do serializacji danych dla moich wiadomości Kafka i chciałbym używać go z repozytorium schematu Avro, więc nie ... adna z nich nie wydaje się poprawna. MessageMetaData ma tylko Offset i Partionid.
Więc, gdzie powinien iść Id schematu Avro?
Kiedy/w jaki sposób temat "oznaczony do usunięcia" zostaje ostatecznie usunięty?
Wydałem polecenie usunięcia tematu:
./bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic vip_ips_alerts
Wyd ...
vip_ips_alerts - marked for deletion
Co to znaczy? Kiedy temat zostanie naprawdę usunięty? Jak przyspieszyć ten proces?
Kolejka martwych liter (DLQ) dla Kafki ze sprężyną-kafka
Jak najlepiej zaimplementować koncepcję kolejki martwych liter (DLQ) w aplikacji Spring Boot 2.0 przy użyciu spring-kafka 2.1 ... ka rekordu.offset () i zapis zostanie ponownie dostarczony do słuchacza (a wysłanie do DLQ prawdopodobnie zostanie wycofane).
zmiana okresu przechowywania Kafki w czasie wykonywania
W Kafka 0.8.1.1, jak zmienić czas przechowywania dziennika podczas jego działania? Dokumentacja mówi, że właściwość jest lo ... la:93)
at kafka.admin.TopicCommand$.main(TopicCommand.scala:52)
at kafka.admin.TopicCommand.main(TopicCommand.scala)
Czy Apache Kafka nadaje się do użycia jako Kolejka zadań?
Kafka dzieli przychodzące wiadomości na partycje, zgodnie z partycją przypisaną przez producenta. Wiadomości z partycji są na ... py konsumentów, co nie jest rodzajem kolejki pracy, której szukam.
Czy Apache Kafka nadaje się do użycia jako Kolejka zadań?
Jak wysłać ostateczny wynik agregacji kafka-streams w oknie czasowym?
To co chciałbym zrobić to:
zużywaj rekordy z tematu liczb (Long ' S)
Agregat (count) wartości dla każdego okna 5 sek
Wyś ... lowego dla każdego przychodzącego rekordu. Moje pytanie brzmi: Jak mogę wysłać tylko ostateczny wynik agregacji każdego okna?
Kafka Consumer get key value pair
Obecnie pracuję z Kafką i Flinkiem, mam Kafkę działającą na moim lokalnym komputerze i stworzyłem temat, który jest konsumowa ... egółów na temat wiadomości ? powiedzmy, że czas? klucz? Sprawdzilem dokumentacje Kafki ale nie znalazlem czegos na ten temat
Jaka jest różnica między najwcześniejszymi i najnowszymi wartościami przesunięcia Kafki
producer wysyła wiadomości 1, 2, 3, 4
consumer odbiera wiadomości 1, 2, 3, 4
consumer awarie / rozłączenia
producer wysył ... amiast 7
Dla tego rodzaju wyniku, jaką wartość {[5] } muszę użyć i jakie są inne zmiany / konfiguracje, które muszę zrobić
Jak usunąć temat w apache kafka [duplikat]
To pytanie ma już odpowiedź tutaj:
Usuń temat w Kafka 0.8.1.1
12 ... icCommand.scala:54)
at kafka.admin.TopicCommand.main(TopicCommand.scala)
Proszę dać mi znać, jak mogę usunąć ten temat.
Dlaczego kafka producer bierze pośrednika po inicjalizacji zamiast zk
Jeśli mam wielu brokerów, z którego brokera powinien korzystać mój producent? Czy muszę ręcznie przełączać brokera, aby zrówn ... ist localhost:9092 --topic test
> bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
Czy można dodać partycje do istniejącego tematu w Kafka 0.8.2
Mam Klaster Kafka działający z 2 partycjami. Szukałem sposobu na zwiększenie liczby partycji do 3. Nie chcę jednak tracić ist ... partycji zgodnie ze zmianą w pliku server.properties. Jednak w przypadku istniejących tematów nie wydaje się to przejmować.
Skuteczna strategia unikania duplikatów wiadomości w Apache kafka consumer
Od miesiąca studiuję Apache kafka. Jednak utknąłem w pewnym momencie. Mój przypadek użycia polega na tym, że mam dwa lub więc ... uje, zapisuje zduplikowane wiadomości do pliku.
Czy jest jakaś skuteczna strategia, aby uniknąć tych duplikatów wiadomości?
Spark: przetwarzanie wielu tematów Kafki równolegle
Używam spark 1.5.2. Muszę uruchomić Spark streaming z Kafką jako źródłem streamingu. Muszę czytać z wielu tematów w Kafce i p ... onieważ większość wykonawców jest zajęta długimi odbiornikami? Proszę mnie poprawić, jeśli moje zrozumienie jest złe tutaj
Jak zapisać najnowszy offset, który Spark zużyty do ZK lub Kafka i może odczytać po ponownym uruchomieniu
Używam Kafka 0.8.2 do odbioru danych z AdExchange następnie używam Spark Streaming 1.4.1 do przechowywania danych do MongoDB. ... Spark ale to samo.
Jak zapisać najnowszą spark offset do zookeeper lub kafka, a następnie odczytać z niej najnowszą offset?
Polecenie, aby uzyskać listę maklerską Kafki od zookeeper
Piszę skrypt powłoki do monitorowania kafka brokers.
Przejrzałem kilka linków i stwierdziłem, że jeśli ZooKeeper zawiera list ... ę brokerów i sprawdzić, czy kafka działa.
Czy Jest jakieś curl polecenie aby uzyskać status klastra kafka jak elasticsearch?
zookeeper nie jest rozpoznawaną opcją podczas wykonywania kafka-console-consumer.sh
Uczę się jak używać Kafki z tego linku (tyle że używam portu 2182 w zookeeperze),
Ale pokazuje:
Zookeeper nie jest roz ... e-consumer.sh -- test tematyczny --zookeeper
localhost: 2182
Jak to naprawić?
Env:
kafka_2.11-2.1.0
zookeeper-3.4.10
Kafka consumer pobieranie metadanych dla tematów nie powiodło się
Próbuję napisać klienta Javy dla serwerów Kafka i ZooKeeper stron trzecich. Jestem w stanie wymienić i opisać tematy, ale kie ... o być produkt układu sieci: pakiety są zniekształcone przez Haproxy i wysyłane przez VPN.
Co dokładnie jest w pracy Tutaj?
Nie udało się odczytać deskryptora artefaktu: IntelliJ
Napotkałem problem z moim plikiem Maven POM, w którym nie można znaleźć zależności spark i powraca z błędem:
Nie udało się od ... t;/artifactId>
<version>1.2.1</version>
</dependency>
</dependencies>