Jak napisać poprawny mikro-benchmark w Javie?

Wiem, że to pytanie zostało oznaczone jako odpowiedź, ale chciałem wspomnieć o dwóch bibliotekach, które umożliwiają pisanie mikro benchmarków

Caliper od Google

Pierwsze kroki tutoriale

1. http://codingjunkie.net/micro-benchmarking-with-caliper/
2. http://vertexlabs.co.uk/blog/caliper

JMH z OpenJDK

Pierwsze kroki tutoriale

1. unikanie pułapek benchmarkingu na JVM
2. http://nitschinger.at/Using-JMH-for-Java-Microbenchmarking
3. http://java-performance.info/jmh/

Ważne rzeczy dla benchmarków Javy to:

• rozgrzej najpierw JIT, uruchamiając kod kilka razy, zanim go zmierzysz
• upewnij się, że działa wystarczająco długo, aby móc zmierzyć wyniki w sekundach lub (lepiej) dziesiątkach sekund
• chociaż nie można wywoływać System.gc() między iteracjami, dobrym pomysłem jest uruchamianie go między testami, aby każdy test miał nadzieję uzyskać "czystą" przestrzeń pamięci do pracy. (Tak, {[1] } jest bardziej podpowiedzią niż gwarancją, ale jest bardzo prawdopodobnie to naprawdę zbierze śmieci z mojego doświadczenia.)
• lubię wyświetlać iteracje i czas oraz wynik czasu/iteracji, który można skalować tak, aby "najlepszy" algorytm otrzymał wynik 1.0, a inne są oceniane w sposób względny. Oznacza to, że możesz uruchomić wszystkie algorytmy przez długi czas, zmieniając zarówno liczbę iteracji, jak i czas, ale wciąż uzyskując porównywalne wyniki.

Jmh jest ostatnim dodatkiem do OpenJDK i został napisany przez niektórych inżynierów wydajności z Oracle. Na pewno warto zajrzeć.

JMH to uprząż Java do budowania, uruchamiania i analizowania Nano/mikro/makro benchmarków napisanych w Javie i innych językach ukierunkowanych na JVM.

Bardzo ciekawe informacje Zakopane w przykładowe testy Komentarze .

Zobacz też:

• unikanie pułapek benchmarkingowych na JVM
• Dyskusja na temat głównych zalet jmh.

Czy benchmark powinien mierzyć czas/iterację lub iteracje / czas i dlaczego?

Upewnij się, że w jakiś sposób używasz wyników, które są obliczane w kodzie porównawczym. W przeciwnym razie Twój kod może zostać zoptymalizowany.

Jeśli próbujesz porównać dwa algorytmy, wykonaj co najmniej dwa benchmarki na każdym z nich, zmieniając kolejność. tj.:

for(i=1..n)
  alg1();
for(i=1..n)
  alg2();
for(i=1..n)
  alg2();
for(i=1..n)
  alg1();

Znalazłem pewne zauważalne różnice (czasami 5-10%) w czasie wykonywania tego samego algorytmu w różnych przebiegach..

Upewnij się również, że n jest bardzo duża, tak aby czas działania każdej pętli wynosił co najmniej 10 sekund. Im więcej iteracji, tym bardziej znaczące liczby w czasie benchmarku i tym bardziej wiarygodne dane jest.

Istnieje wiele możliwych pułapek pisania mikro-benchmarków w Javie.

Po pierwsze: musisz obliczyć z różnego rodzaju zdarzeń, które zajmują mniej lub bardziej przypadkowe: Garbage collection, efekty buforowania (OS dla plików i CPU dla pamięci), IO itp.

Po drugie: nie można ufać dokładności mierzonych czasów w bardzo krótkich odstępach czasu.

Po Trzecie: JVM optymalizuje Twój kod podczas wykonywania. Więc różne biegi w tej samej instancji JVM staną się szybsze i szybciej.

Moje zalecenia: spraw, aby twój benchmark działał kilka sekund, co jest bardziej niezawodne niż runtime w ciągu milisekund. Rozgrzej JVM (oznacza uruchomienie benchmarka co najmniej raz bez pomiaru, aby JVM mógł uruchomić optymalizacje). I uruchomić swój benchmark wiele razy (może 5 razy) i wziąć wartość mediana. Uruchom każdy mikro-benchmark w nowej instancji JVM (call for every benchmark new Java) w przeciwnym razie efekty optymalizacji JVM mogą wpłynąć na późniejsze uruchomione testy. Nie. wykonuje rzeczy, które nie są wykonywane w fazie warmup (ponieważ może to spowodować obciążenie klas i rekompilację).

Należy również zauważyć, że ważne może być również przeanalizowanie wyników mikro benchmark podczas porównywania różnych implementacji. Dlatego należy wykonać test istotności.

Wynika to z faktu, że implementacja A może być szybsza podczas większości uruchomień benchmarka niż implementacja B. Ale A może również mieć wyższy spread, więc zmierzona korzyść z wydajności A nie będzie miała żadnego znaczenia w porównaniu z B.

Więc to ważne jest również, aby poprawnie napisać i uruchomić mikro benchmark, ale także poprawnie go przeanalizować.

Http://opt.sourceforge.net / Java Micro Benchmark-zadania kontrolne wymagane do określenia porównawczej charakterystyki wydajności systemu komputerowego na różnych platformach. Może być używany do kierowania decyzjami optymalizacyjnymi i porównywania różnych implementacji Javy.

Aby dodać do innych doskonałych rad, chciałbym również pamiętać o następujących:

Być może bardziej istotny aspekt, nad którym masz bezpośrednią kontrolę: upewnij się, że mierzysz właściwą rzecz! Na przykład, jeśli używasz System.nanoTime() do porównywania określonego fragmentu kodu, umieść wywołania do przypisania w miejscach, które mają sens, aby uniknąć pomiaru rzeczy, które nie jestem zainteresowany. Na przykład nie rób:

long startTime = System.nanoTime();
//code here...
System.out.println("Code took "+(System.nanoTime()-startTime)+"nano seconds");

Problem polega na tym, że nie otrzymujesz od razu czasu zakończenia kodu. Zamiast tego spróbuj:

final long endTime, startTime = System.nanoTime();
//code here...
endTime = System.nanoTime();
System.out.println("Code took "+(endTime-startTime)+"nano seconds");