Wysoka wydajność serializacji: Java vs Google Protocol Buffers vs ...?

Nie porównałem buforów protokołów z natywną serializacją Javy pod względem szybkości, ale dla interoperacyjności natywna serializacja Javy jest poważnym Nie-Nie. W większości przypadków nie będzie on również tak wydajny pod względem przestrzeni, jak bufory protokołów. Oczywiście jest nieco bardziej elastyczny pod względem tego, co może przechowywać, a także pod względem referencji itp. Bufory protokołów są bardzo dobre w tym, do czego są przeznaczone, a kiedy pasują do Twoich potrzeb, są świetne - ale są oczywiste ograniczenia ze względu na do interoperacyjności (i innych rzeczy).

Niedawno opublikowałem Framework testowania buforów protokołów w Javie i. NET. Wersja Javy znajduje się w głównym projekcie Google (w katalogu benchmarks), wersja.Net jest w moim projekcie C# port. Jeśli chcesz porównać szybkość PB z szybkością serializacji Javy, możesz napisać podobne klasy i je porównać. Jeśli jednak interesuje Cię interop, naprawdę nie dałbym natywnej serializacji Javy (lub. NET natywna binarna serializacja) druga myśl.

Oprócz buforów protokołów istnieją inne opcje interoperacyjnej serializacji - Thrift, JSON i YAML przychodzą na myśl i są niewątpliwie inni.

EDIT: ok, ponieważ interop nie jest tak ważny, warto spróbować wymienić różne cechy, które chcesz z RAM serializacji. Jedną z rzeczy, o których warto pomyśleć, jest wersjonowanie-to kolejna rzecz, do której PB jest przeznaczony dobrze radzisz sobie, zarówno do tyłu, jak i do przodu ( aby nowe oprogramowanie mogło odczytać stare dane i odwrotnie) - oczywiście przy trzymaniu się sugerowanych reguł:) {]}

Starając się być ostrożnym w kwestii wydajności Javy i natywnej serializacji, nie zdziwiłbym się, gdyby PB i tak było szybsze. Jeśli masz taką możliwość, użyj maszyny wirtualnej serwera - moje ostatnie testy wykazały, że maszyna wirtualna serwera jest ponad dwa razy szybsza przy serializacji i deserializacji przykładowych danych. Chyba kod PB bardzo ładnie pasuje do JIT serwera VM:)

Podobnie jak przykładowe dane wydajności, serializując i deserializując dwie wiadomości (jeden 228 bajtów, jeden 84750 bajtów) otrzymałem te wyniki na moim laptopie przy użyciu serwera VM:

Benchmarking benchmarks.GoogleSize$SizeMessage1 with file google_message1.dat 
Serialize to byte string: 2581851 iterations in 30.16s; 18.613789MB/s 
Serialize to byte array: 2583547 iterations in 29.842s; 18.824497MB/s 
Serialize to memory stream: 2210320 iterations in 30.125s; 15.953759MB/s 
Deserialize from byte string: 3356517 iterations in 30.088s; 24.256632MB/s 
Deserialize from byte array: 3356517 iterations in 29.958s; 24.361889MB/s 
Deserialize from memory stream: 2618821 iterations in 29.821s; 19.094952MB/s 

Benchmarking benchmarks.GoogleSpeed$SpeedMessage1 with file google_message1.dat 
Serialize to byte string: 17068518 iterations in 29.978s; 123.802124MB/s 
Serialize to byte array: 17520066 iterations in 30.043s; 126.802376MB/s 
Serialize to memory stream: 7736665 iterations in 30.076s; 55.93307MB/s 
Deserialize from byte string: 16123669 iterations in 30.073s; 116.57947MB/s 
Deserialize from byte array: 16082453 iterations in 30.109s; 116.14243MB/s
Deserialize from memory stream: 7496968 iterations in 30.03s; 54.283176MB/s 

Benchmarking benchmarks.GoogleSize$SizeMessage2 with file google_message2.dat 
Serialize to byte string: 6266 iterations in 30.034s; 16.826494MB/s 
Serialize to byte array: 6246 iterations in 30.027s; 16.776697MB/s 
Serialize to memory stream: 6042 iterations in 29.916s; 16.288969MB/s 
Deserialize from byte string: 4675 iterations in 29.819s; 12.644595MB/s 
Deserialize from byte array: 4694 iterations in 30.093s; 12.580387MB/s 
Deserialize from memory stream: 4544 iterations in 29.579s; 12.389998MB/s 

Benchmarking benchmarks.GoogleSpeed$SpeedMessage2 with file google_message2.dat 
Serialize to byte string: 39562 iterations in 30.055s; 106.16416MB/s 
Serialize to byte array: 39715 iterations in 30.178s; 106.14035MB/s 
Serialize to memory stream: 34161 iterations in 30.032s; 91.74085MB/s 
Deserialize from byte string: 36934 iterations in 29.794s; 99.98019MB/s 
Deserialize from byte array: 37191 iterations in 29.915s; 100.26867MB/s 
Deserialize from memory stream: 36237 iterations in 29.846s; 97.92251MB/s 

"Prędkość" vs "rozmiar" to to, czy wygenerowany kod jest zoptymalizowany pod kątem prędkości czy rozmiaru kodu. (Serializowane dane są takie same w obu przypadkach. Wersja "rozmiar" jest przewidziana dla przypadku, w którym zdefiniowano wiele wiadomości i nie chcesz zabierać dużo pamięci za Kod.)

Jak widzisz, dla mniejszej wiadomości może to być bardzo szybko - ponad 500 małych wiadomości serializowanych lub deserializowanych na milisekundę . Nawet z wiadomością 87K zajmuje mniej niż milisekundę na wiadomość.