boost:: wydajność interprocess message queue - raczej powolna?

Potrzebuję ultraszybkiego mechanizmu MQ, gdzie zarówno nadawca, jak i odbiornik są napisane w C++, na platformie Windows.

Moja obecna implementacja wykorzystująca RCF-C++ dla IPC jest taktowana z prędkością około 20 000 msg/s nad oknami nazwanymi Pipes.

Testuję perf kolejki komunikatów boost:: interprocess według aplikacji demonstracyjnej i mierzę około 48 000 wiadomości / s, co jest zaskakująco powolne, biorąc pod uwagę, że kiedy przygotowałem prosty plik mapowany pamięcią komunikacja na tej samej maszynie (w C# za pomocą kodu z tego posta na blogu), dostałem około 150 000 wiadomości/SEK.

Jakiś pomysł, dlaczego tak wolno wydaję się z Boost message_queue i co mogę spróbować poprawić?

Author: Omer Raviv, 2011-06-02
Source

2 answers

Odpowiedź Daniela jest częścią tego, ale jest tu większy problem: boost::interprocess zasadniczo utrzymuje kolejkę jako tablicę w pamięci współdzielonej, a po wysłaniu wiadomości, boost::interprocess:message_queue wykonuje binarne wyszukiwanie w oparciu o priorytet nowej wiadomości, aby znaleźć, gdzie wiadomość powinna być umieszczona w tablicy, a następnie std::backward_copywszystkie inne wiadomości, aby zrobić dla niej miejsce. Jeśli zawsze używasz tego samego priorytetu, twoja wiadomość zostanie umieszczona na początku (ponieważ jest najnowsza), i tak wszelkie wiadomości, które masz w buforze w tym czasie, będą backwards_copied, aby zrobić miejsce na to, co wymaga czasu. (Patrz implementacja metody queue_free_msg).

Jeśli nie potrzebujesz wiadomości, aby miały priorytety, a po prostu chcesz mieć zwykłą kolejkę FIFO, to takie podejście jest o wiele wolniejsze niż używanie bufora okrągłego: wydajność wstawiania (wysyłania) pogarsza się gwałtownie wraz ze wzrostem rozmiaru kolejki.

UPDATE: napisałem wersję message_queue to używa okrągłego bufora wewnętrznie, z pomocą notatki na Wikipedii, i to był wielki sukces.

 10
Author: Omer Raviv,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2011-08-17 19:55:10

Ponieważ dokument Boost stwierdza , boost::interprocess:: shared_memory_object jest zaimplementowany przy użyciu pliku mapowanego pamięcią w Win32. Kolejka komunikatów boost również korzysta z tego symulowanego obiektu pamięci współdzielonej. (Dla natywnej pamięci współdzielonej Win32, boost dostarcza klasę windows_shared_memory oddzielnie.)

Aby uzyskać lepszą wydajność kolejki komunikatów, musisz zaimplementować własną wersję kolejki komunikatów przy użyciu natywnego obiektu pamięci współdzielonej Win32. W moich eksperymentach, po zastępując go, wydajność znacznie wzrosła.

Zauważ, że jeśli zmienisz Win32 natywną pamięć współdzieloną, musisz zająć się "usunięciem" pamięci współdzielonej. Pamięć współdzielona POSIX i pamięć współdzielona Win32 mają różne zasady usuwania.

 7
Author: Daniel K.,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2011-06-02 08:33:38