iOS cvimagebuffer zniekształcony z Avcapturessiondataoutput z Avcapturessionpresetphoto

Na wysokim poziomie, stworzyłem aplikację, która pozwala użytkownikowi skierować kamerę iPhone wokół i zobaczyć klatki wideo, które zostały przetworzone z efektami wizualnymi. Ponadto użytkownik może stuknąć przycisk, aby zrobić zamrożoną ramkę bieżącego podglądu jako zdjęcie w wysokiej rozdzielczości, które jest zapisane w bibliotece iPhone ' a.

Aby to zrobić, aplikacja postępuje zgodnie z tą procedurą:

1) Utwórz avcapturession

captureSession = [[AVCaptureSession alloc] init];
[captureSession setSessionPreset:AVCaptureSessionPreset640x480];

2) Podłącz AVCaptureDeviceInput za pomocą kamera zwrócona w tył.

videoInput = [[[AVCaptureDeviceInput alloc] initWithDevice:backFacingCamera error:&error] autorelease];
[captureSession addInput:videoInput];

3) Podłącz interfejs Avcaptustillimageoutput do sesji, aby móc przechwytywać nieruchome klatki w rozdzielczości zdjęć.

stillOutput = [[AVCaptureStillImageOutput alloc] init];
[stillOutput setOutputSettings:[NSDictionary
    dictionaryWithObject:[NSNumber numberWithInt:kCVPixelFormatType_32BGRA]
    forKey:(id)kCVPixelBufferPixelFormatTypeKey]];
[captureSession addOutput:stillOutput];

4) Podłącz AVCaptureVideoDataOutput do sesji, aby móc przechwytywać pojedyncze klatki wideo (Cvimagebuffery) w niższej rozdzielczości

videoOutput = [[AVCaptureVideoDataOutput alloc] init];
[videoOutput setVideoSettings:[NSDictionary dictionaryWithObject:[NSNumber numberWithInt:kCVPixelFormatType_32BGRA] forKey:(id)kCVPixelBufferPixelFormatTypeKey]];
[videoOutput setSampleBufferDelegate:self queue:dispatch_get_main_queue()];
[captureSession addOutput:videoOutput];

5) gdy klatki wideo są przechwytywane, metoda delegata jest wywoływana z każdą nową klatką jako CVImageBuffer:

- (void)captureOutput:(AVCaptureOutput *)captureOutput didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection *)connection
{
    CVImageBufferRef pixelBuffer = CMSampleBufferGetImageBuffer(sampleBuffer);
    [self.delegate processNewCameraFrame:pixelBuffer];
}

6) Następnie delegat przetwarza / rysuje oni:

- (void)processNewCameraFrame:(CVImageBufferRef)cameraFrame {
    CVPixelBufferLockBaseAddress(cameraFrame, 0);
    int bufferHeight = CVPixelBufferGetHeight(cameraFrame);
    int bufferWidth = CVPixelBufferGetWidth(cameraFrame);

    glClear(GL_COLOR_BUFFER_BIT);

    glGenTextures(1, &videoFrameTexture_);
    glBindTexture(GL_TEXTURE_2D, videoFrameTexture_);
    glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_LINEAR);
    glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MAG_FILTER, GL_LINEAR);
    glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_WRAP_S, GL_CLAMP_TO_EDGE);
    glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_WRAP_T, GL_CLAMP_TO_EDGE);

    glTexImage2D(GL_TEXTURE_2D, 0, GL_RGBA, bufferWidth, bufferHeight, 0, GL_BGRA, GL_UNSIGNED_BYTE, CVPixelBufferGetBaseAddress(cameraFrame));

    glBindBuffer(GL_ARRAY_BUFFER, [self vertexBuffer]);
    glBindBuffer(GL_ELEMENT_ARRAY_BUFFER, [self indexBuffer]);

    glDrawElements(GL_TRIANGLE_STRIP, 4, GL_UNSIGNED_SHORT, BUFFER_OFFSET(0));

    glBindBuffer(GL_ARRAY_BUFFER, 0);
    glBindBuffer(GL_ELEMENT_ARRAY_BUFFER, 0);
    [[self context] presentRenderbuffer:GL_RENDERBUFFER];

    glDeleteTextures(1, &videoFrameTexture_);

    CVPixelBufferUnlockBaseAddress(cameraFrame, 0);
}

Jeśli jednak uchwycę zdjęcie z tej sesji, jego rozdzielczość będzie również wynosić 640x480. Chcę, aby była to wysoka rozdzielczość, więc w pierwszym kroku zmieniam wstępnie ustawioną linię na:

[captureSession setSessionPreset:AVCaptureSessionPresetPhoto];

To poprawnie rejestruje nieruchome obrazy w najwyższej rozdzielczości dla iPhone4 (2592x1936).

Jednak filmik podgląd (otrzymany przez delegata w krokach 5 i 6) wygląda teraz następująco:

Potwierdziłem, że wszystkie inne ustawienia predefiniowane (High, medium, low, 640x480 i 1280x720) wyświetlają się zgodnie z przeznaczeniem. Jednak ustawienie wstępne zdjęcia wydaje się wysyłać dane bufora w innym formacie.

Potwierdziłem również, że dane wysyłane do bufora w ustawieniu domyślnym zdjęcia są w rzeczywistości poprawnymi danymi obrazu, pobierając bufor i tworząc z niego interfejs zamiast wysyłać go do openGL:

CGColorSpaceRef colorSpace = CGColorSpaceCreateDeviceRGB();
CGContextRef context = CGBitmapContextCreate(CVPixelBufferGetBaseAddress(cameraFrame), bufferWidth, bufferHeight, 8, bytesPerRow, colorSpace, kCGBitmapByteOrder32Little | kCGImageAlphaPremultipliedFirst); 
CGImageRef cgImage = CGBitmapContextCreateImage(context); 
UIImage *anImage = [UIImage imageWithCGImage:cgImage];

Pokazuje niezakłóconą klatkę wideo.

Przeprowadziłem kilka poszukiwań i nie mogę tego naprawić. Mam przeczucie, że to kwestia formatu danych. Oznacza to, że uważam, że bufor jest ustawiony poprawnie, ale z formatem, którego ta linia nie rozumie:

glTexImage2D(GL_TEXTURE_2D, 0, GL_RGBA, bufferWidth, bufferHeight, 0, GL_BGRA, GL_UNSIGNED_BYTE, CVPixelBufferGetBaseAddress(cameraFrame));

Moje przeczucie było takie, że zmiana zewnętrznego formatu z GL_BGRA na coś innego może pomóc, ale tak nie jest... i przez różne sposoby wygląda na to, że bufor jest rzeczywiście w GL_BGRA.