Korzystanie z Java z GPU Nvidia (CUDA)

Przede wszystkim powinieneś być świadomy faktu, że CUDA nie będzie automagicznie wykonywać obliczeń szybciej. Z jednej strony, ponieważ programowanie GPU jest sztuką i może być bardzo, bardzo trudne, aby uzyskać to Prawo . Z drugiej strony, ponieważ GPU są dobrze dostosowane tylko do niektórych rodzajów obliczeń.

Może to zabrzmieć myląco, ponieważ możesz w zasadzie obliczyć cokolwiek na GPU. Najważniejsze jest oczywiście to, czy osiągniesz dobre przyspieszenie albo i nie. Najważniejszą klasyfikacją jest tutaj to, czy problemem jest task parallel czy data parallel. Pierwszy z nich odnosi się, z grubsza mówiąc, do problemów, w których kilka wątków pracuje nad własnymi zadaniami, mniej lub bardziej niezależnie. Drugi odnosi się do problemów, w których Wiele wątków robi to samo - ale w różnych częściach danych.

Ten ostatni jest rodzajem problemu, w którym GPU są dobre: mają Wiele Rdzeni, wszystkie rdzenie robią to samo, ale działają na różnych częściach danych wejściowych.

Wspomniałeś, że masz "prostą matematykę, ale z ogromną ilością danych". Chociaż może to brzmieć jak idealnie równoległy problem danych, a tym samym jak to było dobrze dostosowane do GPU, istnieje inny aspekt do rozważenia: GPU są śmiesznie szybkie pod względem teoretycznej mocy obliczeniowej (FLOPS, operacje zmiennoprzecinkowe na sekundę). Ale często są dławione przez pamięć przepustowość.

Pierwszy odnosi się do problemów, w których liczba instrukcji wykonywanych dla każdego elementu danych jest niska. Na przykład, rozważmy dodanie wektora równoległego: musisz odczytać dwa elementy danych, następnie wykonać pojedyncze dodanie, a następnie zapisać sumę do wektora wynikowego. Nie zobaczysz przyspieszenia, gdy robi to na GPU, ponieważ pojedynczy dodatek nie rekompensuje wysiłków czytania / pisania pamięci.

Drugi termin, "compute bound", odnosi się do problemów, w których liczba instrukcji jest wysoka w porównaniu do liczby odczytów/zapisów pamięci. Na przykład, rozważmy mnożenie macierzy: Liczba instrukcji będzie O (N^3), Gdy n jest wielkością macierzy. W takim przypadku można się spodziewać, że GPU przewyższy procesor o określonej wielkości matrycy. Inny przykładem może być sytuacja, gdy wiele złożonych obliczeń trygonometrycznych (Sinus/Cosinus itp.) są wykonywane na "kilku" elementach danych.

Z reguły: można założyć, że odczyt/zapis jednego elementu danych z "głównej" pamięci GPU ma opóźnienie około 500 instrukcji....

Dlatego kolejnym kluczowym punktem dla wydajności GPU jest data location : Jeśli musisz odczytywać lub zapisywać dane( a w większości przypadków będziesz musiał; -)), powinieneś upewnić się, że dane są przechowywane jak najbliżej rdzeni GPU. Procesory GPU mają więc pewne obszary pamięci (określane jako "pamięć lokalna" lub "pamięć dzielona"), które zwykle mają tylko kilka KB, ale są szczególnie wydajne dla danych, które mają być zaangażowane w obliczenia.

Aby to jeszcze raz podkreślić: programowanie GPU jest sztuką, która jest tylko zdalnie związana z programowaniem równoległym na CPU. Rzeczy takich jak wątki w Javie, z całą infrastrukturą współbieżności jak ThreadPoolExecutors, ForkJoinPools itd. może sprawić wrażenie że po prostu musisz jakoś podzielić swoją pracę i podzielić ją między kilka procesorów. Na GPU możesz napotkać wyzwania na znacznie niższym poziomie: obłożenie, presja rejestracji, presja pamięci współdzielonej, łączenie pamięci ... żeby wymienić tylko kilka.

Jednak, gdy masz problem związany z równoległymi danymi do rozwiązania, procesor GPU jest dobrym rozwiązaniem.

Ogólna uwaga: twój specjalnie poprosił o CUDA. Ale zdecydowanie polecam również rzucić okiem na OpenCL. Informatyka ma kilka zalet. Po pierwsze, jest to niezależny od dostawców, otwarty standard branżowy, a istnieją implementacje OpenCL firm AMD, Apple, Intel i NVIDIA. Dodatkowo, w świecie Javy istnieje znacznie szersze wsparcie dla OpenCL. Jedynym przypadkiem, w którym wolałbym zadowolić się CUDA, jest użycie bibliotek runtime CUDA, takich jak CUFFT dla FFT lub CUBLAS dla BLAS (operacje macierzowe/wektorowe). Chociaż istnieją podejścia do dostarczania podobnych bibliotek dla OpenCL, nie mogą one być używane bezpośrednio od strony Javy, chyba że tworzysz własne wiązania JNI dla tych bibliotek.

Może być również interesujące usłyszeć, że w październiku 2012 roku grupa OpenJDK HotSpot rozpoczęła projekt "Sumatra": http://openjdk.java.net/projects/sumatra / . Celem tego projektu jest zapewnienie wsparcia GPU bezpośrednio w JVM, z obsługą JIT. Aktualny status i pierwsze wyniki można zobaczyć na ich liście mailingowej pod adresem http://mail.openjdk.java.net/mailman/listinfo/sumatra-dev

(Disclaimer : jestem autorem http://jcuda.org / i http://jocl.org/ )

(Bajt)tłumaczenie kodu i generowanie kodu OpenCL:

Https://github.com/aparapi/aparapi : open-source biblioteka tworzona i aktywnie utrzymywana przez firmę AMD. W specjalnej klasie "Kernel" można nadpisać określoną metodę, która powinna być wykonywana równolegle. Kod bajtowy tej metody jest ładowany w czasie wykonywania przy użyciu własnego czytnika kodów bajtowych. Kod jest tłumaczony na kod OpenCL, który jest następnie kompilowany przy użyciu kompilatora OpenCL. Wynik można następnie wykonać na urządzeniu OpenCL, które może być GPU lub CPU. Jeśli kompilacja do OpenCL nie jest możliwa( lub OpenCL nie jest dostępny), Kod nadal będzie wykonywane równolegle, używając puli wątków.

Https://github.com/pcpratts/rootbeer1 : biblioteka open-source do konwersji części Javy do programów CUDA. Oferuje dedykowane interfejsy, które mogą być zaimplementowane w celu wskazania, że pewna klasa powinna być wykonana na GPU. W przeciwieństwie do Aparapi, stara się automatycznie serializować "istotne" dane (czyli kompletną odpowiednią część wykresu obiektowego!) do reprezentacji, która jest odpowiednia dla GPU.

Https://code.google.com/archive/p/java-gpu/: biblioteka do tłumaczenia adnotowanego kodu Javy (z pewnymi ograniczeniami)na kod CUDA, który jest następnie kompilowany do biblioteki, która wykonuje kod na GPU. Biblioteka została opracowana w kontekście pracy doktorskiej, która zawiera dogłębne informacje o procesie tłumaczenia.

Https://github.com/ochafik/ScalaCL : Scala bindings for OpenCL. Pozwala na specjalne kolekcje Scala przetwarzane równolegle z OpenCL. Funkcje, które są wywoływane na elementach zbiorów, mogą być zwykłymi funkcjami Scali (z pewnymi ograniczeniami), które są następnie tłumaczone na jądra OpenCL.

Rozszerzenia językowe

Http://www.ateji.com/px/index.html : rozszerzenie języka Java, które umożliwia równoległe konstrukcje (np. parallel for loops, OpenMP style), które są następnie wykonywane na GPU za pomocą OpenCL. Niestety, ten bardzo obiecujący projekt nie jest już utrzymane.

Http://www.habanero.rice.edu/Publications.html (JCUDA): biblioteka, która może przetłumaczyć specjalny kod Javy (zwany kodem JCUDA) na kod Java - i CUDA-C, który następnie może być skompilowany i wykonany na GPU. Biblioteka nie wydaje się jednak publicznie dostępna.

Https://www2.informatik.uni-erlangen.de/EN/research/JavaOpenMP/index.html : rozszerzenie języka Java dla konstrukcji OpenMP, z zapleczem CUDA

Java OpenCL / CUDA binding libraries

Https://github.com/ochafik/JavaCL OpenCL jest biblioteką OpenCL zorientowaną obiektowo, opartą na automatycznie generowanych niskopoziomowych OpenCL.]}

Http://jogamp.org/jocl/www / : wiązania Javy dla OpenCL: obiektowa biblioteka OpenCL, oparta na automatycznie generowanych wiązaniach niskiego poziomu

Http://www.lwjgl.org/: wiązania Javy dla OpenCL: automatycznie generowane wiązania niskiego poziomu i wygoda zorientowana obiektowo klasy

Http://jocl.org/: wiązania Javy dla OpenCL: wiązania niskiego poziomu, które są mapowaniem 1: 1 oryginalnego API OpenCL

Http://jcuda.org/: wiązania Java dla CUDA: wiązania niskiego poziomu, które są mapowaniem 1: 1 oryginalnego API CUDA

Różne

Http://sourceforge.net/projects/jopencl / : wiązania Javy dla OpenCL. Wydaje się, że nie są już utrzymywane od 2010

Http://www.hoopoe-cloud.com / : Wiązania Java dla CUDA. Wydaje się być już nie utrzymywane