apache-kafka

Kiedy stosować RabbitMQ nad Kafką? [zamknięte]

zamknięte . To pytanie jest oparte na opinii . Obecnie nie przyjmuje odpowiedzi. ... dki użycia, w których Kolejka komunikatów lepiej pasuje pod względem przepustowości, trwałości, opóźnień lub łatwości użycia?

Korzystanie z Kafki jako (CQRS) Eventstore. Dobry pomysł?

Chociaż natknąłem się już na Kafka , niedawno zdałem sobie sprawę, że Kafka może być używana jako (podstawa) CQRS, eventstor ... e sumują się do stanu końcowego) pozwala to na wszelkiego rodzaju fajne rzeczy, ale po prostu przeczytaj na podanych linkach.

Purge Kafka Topic

Wcisnąłem wiadomość, która była zbyt duża w Temat wiadomości kafka na mojej lokalnej maszynie, teraz dostaję błąd: kafka.co ... nie jest tutaj idealne, ponieważ nie chcę przyjmować wiadomości tak dużych. Czy jest sposób na oczyszczenie tematu w Kafce?

Modelowanie danych z Kafką? Tematy i partycje

Jedną z pierwszych rzeczy, o których myślę podczas korzystania z nowej usługi (takiej jak przechowalnia danych innych niż RDB ... #inst "2013-04-12T23:20:55.50Z"} Czy temat powinien być oparty na user-id? viewed? at? A co z przegrodą? Jak Ja decyduję?

Jak mogę wysyłać duże wiadomości z Kafka (powyżej 15MB)?

Wysyłam String-messages do Kafka V. 0. 8 za pomocą Java Producer API. Jeśli rozmiar wiadomości wynosi około 15 MB dostaję Mes ... ndle(Unknown Source) at kafka.producer.Producer.send(Unknown Source) at kafka.javaapi.producer.Producer.send(Unknown Source)

Różnica między session.timeout.ms oraz max.poll.interval.ms dla Kafka>= 0.10.1

Nie wiem dlaczego potrzebujemy obu session.timeout.ms i max.poll.interval.ms i kiedy mielibyśmy użyć jednego, drugiego lub ob ... serca od konsumenta, zanim założy, że jest martwy. Również jak to się zachowuje w wersjach 0.10.1.0 + opartych na KIP-62 ?

Co decyduje o offsecie konsumenckim Kafka?

Jestem stosunkowo nowy w Kafce. Zrobiłem z tym trochę eksperymentu, ale kilka rzeczy nie jest dla mnie niejasnych w odniesien ... jest zawsze deterministyczne ? Proszę nie wahaj się skomentować, jeśli cokolwiek w moim pytaniu jest niejasne. Z góry dzięki.

Czy istnieje sposób na usunięcie wszystkich danych z tematu lub usunięcie tematu przed każdym uruchomieniem?

Czy istnieje sposób na usunięcie wszystkich danych z tematu lub usunięcie tematu przed każdym uruchomieniem? Czy mogę zmodyf ... żdym uruchomieniu? Chcę tylko nowych danych za każdym razem w temat. Czy jest jakiś sposób na ponowne zainicjowanie tematu?

Apache Kafka vs Apache Storm

Apache Kafka: Distributed messaging system Apache Storm: Przetwarzanie Wiadomości W Czasie Rzeczywistym Jak możemy wykorzy ... w czasie rzeczywistym oba wydają mi się wykonywać pracę identyczną. Jak możemy wykorzystać obie technologie w potoku danych?

Monitoring UI dla Apache kafka-kafka manager vs Kafka monitor [zamknięty]

zamknięte . To pytanie jest oparte na opinii . Obecnie nie przyjmuje odpowiedzi. ... jakim scenariuszu? 'Kafka manager' z yahoo wygląda na starszego, a 'Kafka monitor' z LinkedIn jest nowszy Kafka Monitor-

Co oznacza "Zrównoważenie" w kontekście Apache Kafka?

Jestem nowym użytkownikiem Kafki i testuję go od około 2-3 tygodni. Wierzę, że w tej chwili mam dobre zrozumienie, jak Kafka ... rzekazanie wynikowej własności partycji konfiguracja dla wszystkich konsumentów grupy poddawanych równoważeniu operacja.

Usuń temat w Kafka 0.8.1.1

Muszę usunąć temat test w Apache Kafka 0.8.1.1. Jak wyrażono w tutaj , wykonałem: bin/kafka-topics.sh --zookeeper localho ... cy komunikat: Command must include exactly one action: --list, --describe, --create or --alter Jak mogę usunąć ten temat?

Jak napisać do Kafki z Spark Streaming

Używam Spark Streaming do przetwarzania danych między dwoma kolejkami Kafka, ale nie mogę znaleźć dobrego sposobu, aby pisać ... ynczej instancji dla każdego procesu i uzyskać do niej dostęp, gdy będę potrzebował aby wysłać wiadomość. Jak mogę to zrobić?

Zrozumienie tematów i partycji Kafki

Zaczynam się uczyć Kafki dla potrzeb rozwiązań korporacyjnych. Podczas moich odczytów, przyszło mi do głowy kilka pytań: ... przykład: retencja była przez 3 godziny, a następnie czas mija, w jaki sposób przesunięcie jest obsługiwane po obu stronach?

NServiceBus i królik MQ lub Kafka

Próbuję nauczyć się systemu komunikatorów. Odkryłem, że RabbitMq i NServiceBus używają razem w kilku miejscach. Moje pytania ... zrobić, ale RabbitMQ lub Kafka nie może? Czy Mogę używać NServiceBus i kafka razem? Lub Apache-Kafka nie wymaga NServiceBus

Jak zainstalować Kafka na Windows?

Próbuję zainstalować Kafka kolejkę komunikatów w Windows do celów testowych (nie do produkcji). Znalazłem artykuł Jak zainst ... ress.com/2013/10/13/apache-kafka-0-8-on-windows/ To dobry artykuł, ale niestety Nieaktualny. Czy ktoś wie jak to osiągnąć?

Jak sprawdzić, czy ZooKeeper jest uruchomiony lub uruchomiony z wiersza polecenia?

Sprawdzałem kilka opcji konfiguracji Kafki i wiedziałem, że Zoo Keeper musi być uruchomiony, aby zainicjować Kafkę. Chciałby ... | grep "zoo" nic nie znalazłem. Może używam złego klucza słowo do przeszukania?? Każda pomoc byłaby naprawdę mile widziana?

Jakie polecenie pokazuje wszystkie tematy i offsety partycji w Kafce?

Szukam komendy Kafka, która pokazuje wszystkie tematy i offsety partycji. Jeśli jest dynamicznie byłoby idealne. W tej chwili używam kodu Javy, aby zobaczyć te informacje, ale jest to bardzo niewygodne.

ActiveMQ vs Apollo vs Kafka

Nie mam doświadczenia z *MQs i szukam wiedzy na temat JMS i kolejek wiadomości w ogóle. W ten sposób zastanawiam się, czy pow ... , że ActiveMQ utknął z 1.1)? Czy ominie mnie coś naprawdę ważnego? Również, jak Kafka porównuje się do tych dwóch rozwiązań?

Jak uzyskać dane ze starego offsetu w Kafce?

Używam zookeeper do pobierania danych z Kafki. I tutaj zawsze dostaję dane z ostatniego przesunięcia. Czy jest jakiś sposób, ... ększe. Can autooffset.reset pomaga w uzyskaniu danych ze starego punktu przesunięcia zamiast najnowszego punktu przesunięcia?