Czy Apache Kafka nadaje się do użycia jako Kolejka zadań?

Powiedziałbym, że to zależy od skali. Ile zadań przewidujesz w jednostce czasu?

To, co opisujesz jako cel końcowy, to w zasadzie domyślne działanie Kafki. Gdy tworzysz wiadomości, domyślną (najczęściej używaną) opcją jest użycie losowego partycjonera, który wybiera partycje w sposób round robin, zachowując ich równomierne użycie (więc można uniknąć podania partycji).
Głównym celem partycji jest równoległe przetwarzanie wiadomości, więc powinieneś go używać w taki sposób.
Inną powszechnie używaną "rzeczą", do której używane są partycje, jest zapewnienie, że niektóre wiadomości są zużywane w tej samej kolejności, w jakiej są produkowane (następnie określasz klucz partycjonowania w taki sposób, że wszystkie takie wiadomości kończą się na tej samej partycji. Np. użycie userId jako klucza zapewniłoby, że wszyscy użytkownicy są przetwarzani w taki sposób).

Istnieją dwie główne przeszkody w używaniu Kafki jako kolejki komunikatów:

1. Jak opisano w Ofer ' s answer , można konsumować tylko jedną partycję od jednego konsumenta, a kolejność przetwarzania jest gwarantowana tylko wewnątrz partycji. Więc jeśli nie możesz sprawiedliwie rozdzielić zadań na partycje, może to być problem

2. Domyślnie możesz potwierdzić przetwarzanie wszystkich wiadomości do określonego punktu (offset). W przeciwieństwie do tradycyjnych kolejki wiadomości, nie można zrobić selektywnego potwierdzenia, a w przypadku awarii, selektywne powtórzenia. Może to być adres za pomocą kmq, który dodaje indywidualne możliwości ACK za pomocą dodatkowego tematu(zastrzeżenie: jestem autorem kmq).

RabbitMQ jest oczywiście alternatywą, ale daje również inne (niższe) Gwarancje wydajności i replikacji. W skrócie, dokumenty RabbitMQ stwierdzają, że broker nie jest tolerancyjny na partycje . Zobacz także nasze porównanie z kolejek komunikatów z replikacją danych, mqperf .

W tym temacie jest wiele dyskusji wokół kolejności wykonywania zadań w pracy lub kolejce zadań. Wysunąłbym pogląd, że kolejność wykonania nie powinna być cechą kolejki pracy.

Kolejka robocza jest sposobem kontrolowania wykorzystania zasobów poprzez zastosowanie kontrolowanej liczby wątków roboczych w celu wykonania różnych zadań. Egzekwowanie zlecenia przetwarzania zadań w kolejce oznacza również egzekwowanie zlecenia realizacji zadań w kolejce, które efektywnie oznacza, że zadania w kolejce będą zawsze przetwarzane kolejno, a następne zadanie będzie przetwarzane dopiero po zakończeniu poprzedniego zadania. To skutecznie oznacza, że masz jedną kolejkę zadań z wątkiem.

Jeśli kolejność wykonania jest ważna w niektórych zadaniach, to zadania te powinny dodać kolejne zadanie w kolejności do kolejki zadań po jej zakończeniu. Albo To, albo obsługujesz sekwencyjny Typ zadania, który po przetworzeniu faktycznie przetwarza listę zadań kolejno na jednym pracowniku.

W żaden sposób Kolejka zadań nie powinna porządkować żadnej ze swoich prac - następny dostępny procesor powinien zawsze wykonywać następne zadanie bez względu na to, co wydarzyło się przed lub po zakończeniu zadania.

Patrzyłem też na Kafkę jako podstawę kolejki do pracy, ale im bardziej ją badam, tym mniej wygląda na pożądaną platformę.

Widzę, że jest używany głównie jako środek synchronizacji różnych zasobów i nie tyle jako środek wykonywanie różnych zapytań o pracę.

Innym obszarem, który moim zdaniem jest ważny w kolejce pracy, jest wsparcie priorytetyzacji zadań. Na przykład, jeśli w kolejce jest 20 zadań, a pojawi się nowe zadanie o wyższym priorytecie, chcę, aby to zadanie przeskoczyło na początek linii, która zostanie odebrana przez następnego dostępnego workera. Kafka by na to nie pozwoliła.