Szybsza alternatywa dla glReadPixels w iPhone OpenGL ES 2.0

[[8]} od wersji IOS 5.0 istnieje teraz szybszy sposób pobierania danych z OpenGL ES. To nie jest łatwo oczywiste, ale okazuje się, że wsparcie texture cache dodane w iOS 5.0 nie tylko działa na szybkie przesyłanie ramek aparatu do OpenGL ES, ale może być używany w odwrotnej, aby uzyskać szybki dostęp do surowych pikseli w tekstury OpenGL ES.

Możesz skorzystać z tego, aby pobrać piksele do renderowania OpenGL ES za pomocą obiektu bufora ramki (FBO) z dołączoną teksturą, z tą teksturą po dostarczeniu z bufora tekstur. Po renderowaniu sceny do tego FBO, piksele BGRA dla tej sceny zostaną zawarte w Twoim CVPixelBufferRef, więc nie będzie potrzeby ich ściągać za pomocą glReadPixels().

Jest to znacznie, znacznie szybsze niż używanie glReadPixels() w moich benchmarkach. Odkryłem, że na moim iPhone 4, glReadPixels() było wąskim gardłem w odczycie klatek wideo 720p do kodowania na dysk. Ograniczało to możliwość kodowania z prędkością większą niż 8-9 FPS. Zastąpienie tego fast texture Cache reads pozwala mi kodować wideo 720p przy 20 kl. / s, a wąskie gardło przeniosło się z odczytu pikseli do przetwarzania OpenGL ES i rzeczywistych części kodowania filmów w potoku. W przypadku iPhone ' a 4S pozwala to na zapis wideo 1080p z pełną prędkością 30 klatek na sekundę.

Moja implementacja znajduje się w klasie GPUImageMovieWriter w ramach frameworka open source GPUImage, ale została zainspirowana artykułem Dennisa Muhlesteina na ten temat i artykułem Apple ' a Chromakey sample application (który został udostępniony dopiero na WWDC 2011).

Zaczynam od skonfigurowania mojego Avassetwritera, dodania wejścia i skonfigurowania wejścia bufora pikseli. Do Ustawienia Wejścia bufora pikseli używany jest następujący kod:

NSDictionary *sourcePixelBufferAttributesDictionary = [NSDictionary dictionaryWithObjectsAndKeys: [NSNumber numberWithInt:kCVPixelFormatType_32BGRA], kCVPixelBufferPixelFormatTypeKey,
                                                       [NSNumber numberWithInt:videoSize.width], kCVPixelBufferWidthKey,
                                                       [NSNumber numberWithInt:videoSize.height], kCVPixelBufferHeightKey,
                                                       nil];

assetWriterPixelBufferInput = [AVAssetWriterInputPixelBufferAdaptor assetWriterInputPixelBufferAdaptorWithAssetWriterInput:assetWriterVideoInput sourcePixelBufferAttributes:sourcePixelBufferAttributesDictionary];

Kiedy już to mam, konfiguruję FBO, do którego będę renderował moje klatki wideo, używając następującego kodu:

if ([GPUImageOpenGLESContext supportsFastTextureUpload])
{
    CVReturn err = CVOpenGLESTextureCacheCreate(kCFAllocatorDefault, NULL, (__bridge void *)[[GPUImageOpenGLESContext sharedImageProcessingOpenGLESContext] context], NULL, &coreVideoTextureCache);
    if (err) 
    {
        NSAssert(NO, @"Error at CVOpenGLESTextureCacheCreate %d");
    }

    CVPixelBufferPoolCreatePixelBuffer (NULL, [assetWriterPixelBufferInput pixelBufferPool], &renderTarget);

    CVOpenGLESTextureRef renderTexture;
    CVOpenGLESTextureCacheCreateTextureFromImage (kCFAllocatorDefault, coreVideoTextureCache, renderTarget,
                                                  NULL, // texture attributes
                                                  GL_TEXTURE_2D,
                                                  GL_RGBA, // opengl format
                                                  (int)videoSize.width,
                                                  (int)videoSize.height,
                                                  GL_BGRA, // native iOS format
                                                  GL_UNSIGNED_BYTE,
                                                  0,
                                                  &renderTexture);

    glBindTexture(CVOpenGLESTextureGetTarget(renderTexture), CVOpenGLESTextureGetName(renderTexture));
    glTexParameterf(GL_TEXTURE_2D, GL_TEXTURE_WRAP_S, GL_CLAMP_TO_EDGE);
    glTexParameterf(GL_TEXTURE_2D, GL_TEXTURE_WRAP_T, GL_CLAMP_TO_EDGE);

    glFramebufferTexture2D(GL_FRAMEBUFFER, GL_COLOR_ATTACHMENT0, GL_TEXTURE_2D, CVOpenGLESTextureGetName(renderTexture), 0);
}

To pobiera bufor pikseli z puli skojarzonej z moim wpisem asset writer, tworzy i kojarzy teksturę z nim i używa tej tekstury jako celu dla mojego FBO.

Po wyrenderowaniu ramki blokuję adres bazowy bufora pikseli:

CVPixelBufferLockBaseAddress(pixel_buffer, 0);

A następnie po prostu wprowadź go do mojego edytora zasobów, aby został zakodowany:

CMTime currentTime = CMTimeMakeWithSeconds([[NSDate date] timeIntervalSinceDate:startTime],120);

if(![assetWriterPixelBufferInput appendPixelBuffer:pixel_buffer withPresentationTime:currentTime]) 
{
    NSLog(@"Problem appending pixel buffer at time: %lld", currentTime.value);
} 
else 
{
//        NSLog(@"Recorded pixel buffer at time: %lld", currentTime.value);
}
CVPixelBufferUnlockBaseAddress(pixel_buffer, 0);

if (![GPUImageOpenGLESContext supportsFastTextureUpload])
{
    CVPixelBufferRelease(pixel_buffer);
}

Zauważ, że w żadnym momencie nie czytam niczego ręcznie. Ponadto tekstury są natywnie w formacie BGRA, który jest tym, co Avassetwriterzy są zoptymalizowani do użycia podczas kodowania wideo, więc nie ma potrzeby robienia tutaj żadnych kolorów. Surowe piksele BGRA są po prostu karmione do enkodera, aby zrobić film.

Oprócz użycia tego w AVAssetWriter, mam trochę kodu w tej odpowiedzi , którego używałem do ekstrakcji pikseli raw. W praktyce występuje również znaczne przyspieszenie w porównaniu z używaniem glReadPixels(), chociaż mniej niż w przypadku puli buforów pikseli, której używam w AVAssetWriter.