Microsoft Kinect SDK dane głębokości do rzeczywistych współrzędnych świata

Question

Microsoft Kinect SDK dane głębokości do rzeczywistych współrzędnych świata

Używam pakietu Microsoft Kinect SDK, aby uzyskać informacje o głębi i kolorze z sensora Kinect, a następnie przekształcić te informacje w chmurę punktów. Potrzebuję informacji o głębi, by były w rzeczywistych współrzędnych z centrum kamery jako źródłem.

Widziałem wiele funkcji konwersji, ale są one najwyraźniej dla sterowników OpenNI i innych niż Microsoft. Czytałem, że informacje o głębokości dochodzące z Kinecta są już w milimetrach i są zawarte w 11bitach... lub coś.

Jak przekonwertować te informacje bitowe na współrzędne świata rzeczywistego, których mogę użyć?

Z góry dzięki!

15

kinect

Author: Simon Trewhella, 2012-01-10

Source

1 answers

score 10 · Accepted Answer

[[2]}jest to obsługiwane w Bibliotece Kinect dla Windows przy użyciu Microsoft.Badania.Kinect.Nui.Klasa SkeletonEngine oraz następująca metoda:

public Vector DepthImageToSkeleton (
    float depthX,
    float depthY,
    short depthValue
)

Ta metoda zmapuje obraz głębi wytwarzany przez Kinect na obraz skalowalny wektorowo, oparty na rzeczywistych pomiarach.

Stamtąd (kiedy w przeszłości tworzyłem siatkę), po wyliczeniu tablicy bajtów w bitmapie utworzonym przez obraz głębi Kinect, tworzysz nową listę punktów wektorowych podobne do następujących:

        var width = image.Image.Width;
        var height = image.Image.Height;
        var greyIndex = 0;

        var points = new List<Vector>();

        for (var y = 0; y < height; y++)
        {
            for (var x = 0; x < width; x++)
            {
                short depth;
                switch (image.Type)
                {
                    case ImageType.DepthAndPlayerIndex:
                        depth = (short)((image.Image.Bits[greyIndex] >> 3) | (image.Image.Bits[greyIndex + 1] << 5));
                        if (depth <= maximumDepth)
                        {
                            points.Add(nui.SkeletonEngine.DepthImageToSkeleton(((float)x / image.Image.Width), ((float)y / image.Image.Height), (short)(depth << 3)));
                        }
                        break;
                    case ImageType.Depth: // depth comes back mirrored
                        depth = (short)((image.Image.Bits[greyIndex] | image.Image.Bits[greyIndex + 1] << 8));
                        if (depth <= maximumDepth)
                        {
                            points.Add(nui.SkeletonEngine.DepthImageToSkeleton(((float)(width - x - 1) / image.Image.Width), ((float)y / image.Image.Height), (short)(depth << 3)));
                        }
                        break;
                }

                greyIndex += 2;
            }
        }

W ten sposób wynikiem końcowym jest lista wektorów zapisanych w milimetrach, a jeśli chcesz centymetry pomnożyć przez 100 (itd .).