Techniki zmniejszające opóźnienie transferu danych procesora do GPU

Istnieje kilka sposobów, aby rozwiązać problem komunikacji CPU-GPU-mam nadzieję, że to masz na myśli przez opóźnienie, a nie opóźnienie samego transferu. Zauważ, że celowo użyłem terminu address zamiast reduce, ponieważ niekoniecznie musisz zmniejszać opóźnienie, jeśli możesz go ukryć. Zauważ również, że jestem znacznie bardziej zaznajomiony z CUDA, więc poniżej odnoszą się tylko do CUDA, ale niektóre funkcje są również dostępne w OpenCL.

Jak wspomniałeś pamięć zablokowana na stronie ma na celu zwiększenie. Dodatkowo, można mapować pamięć hosta z blokadą strony do GPU, mechanizmu, który umożliwia bezpośredni dostęp do danych przydzielonych z jądra GPU bez konieczności dodatkowego transferu danych. Mechanizm ten nazywany jest transferem zero-copy i jest przydatny, gdy dane są odczytywane/zapisywane tylko raz, wraz ze znaczną ilością obliczeń i dla GPU bez oddzielnej pamięci (mobile). Jednakże, jeśli jądro uzyskujące dostęp do zerowo skopiowanych danych nie jest silnie obliczanie związane i dlatego opóźnienie dostępu do danych nie może być ukryte, strona zablokowana, ale nie zmapowana pamięć będzie bardziej wydajna. Dodatkowo, jeśli dane nie mieszczą się w pamięci GPU, Kopia zerowa nadal będzie działać.
Należy pamiętać, że nadmierna ilość pamięci zablokowanej stroną może spowodować poważne spowolnienie po stronie procesora.

Podchodzenie do problemu pod innym kątem, jak wspomniał tkerwin, asynchroniczny transfer (wrt wątek CPU rozmawiający z GPU) jest kluczem do ukrycia CPU-GPU opóźnienie transferu poprzez nakładanie się obliczeń na procesor z transferem. Można to osiągnąć za pomocą cudaMemcpyAsync(), jak również za pomocą kopii zerowej z asynchronicznym wykonaniem jądra.
Można to zrobić jeszcze dalej, używając wielu strumieni do nakładania się transferu z wykonaniem jądra. Należy pamiętać, że planowanie strumienia może wymagać szczególnej uwagi dla dobrego nakładania się; karty Tesla i Quadro mają silnik dual-DMA, który umożliwia jednoczesne przesyłanie danych do iz GPU. Dodatkowo z CUDA 4.0 stał się łatwiejsze w użyciu GPU z wielu wątków procesora, więc w wielowątkowym kodzie procesora każdy wątek może wysyłać własne dane do GPU i łatwiej uruchamiać jądra.

Wreszcie, GMAC implementuje asymetryczny model pamięci współdzielonej dla CUDA. Jedną z jego bardzo ciekawych cech są modele coherencji, które zapewnia, w szczególności leniwa-i rolling update umożliwiająca transfer Tylko danych modyfikowanych na procesorze w sposób zablokowany.
Więcej szczegółów w poniższym artykule: [[25]} Gelado et al. - Asymetryczna Rozproszona Pamięć Dzielona Model dla heterogenicznych układów równoległych .