Odległość od obiektu za pomocą kamery stereo

Uwaga: wszystko opisane tutaj można znaleźć w książce Learning OpenCV w rozdziałach dotyczących kalibracji kamery i widzenia stereo. Przeczytaj te rozdziały, aby lepiej zrozumieć poniższe kroki.

Jednym z rozwiązań, które nie wymagają samodzielnego pomiaru wszystkich wewnętrznych i zewnętrznych elementów kamery, jest użycie funkcji kalibracji openCVs. Wewnętrzne elementy aparatu (zniekształcenia obiektywu/przekrzywienia itp.) Można obliczyć za pomocą CV:: calibrateCamera, natomiast zewnętrzne (relacja pomiędzy lewą i prawą kamerą) można obliczyć za pomocą CV:: stereoCalibrate. Funkcje te zajmują wiele punktów we współrzędnych pikseli i próbują odwzorować je na rzeczywiste współrzędne obiektów. CV ma schludny sposób, aby uzyskać takie punkty, wydrukuj czarno-białą szachownicę i użyj funkcji CV::findChessboardCorners/CV:: cornsubpix, aby je wyodrębnić. Powinno wystarczyć około 10-15 par obrazków na szachownicach.

Macierze obliczone przez funkcje kalibracji można zapisać na dysku, dzięki czemu nie musisz powtarzać tego procesu za każdym razem, gdy uruchamiasz aplikację. Dostajesz tu kilka ciekawych matryc, które pozwalają na stworzenie mapy rektyfikacji (CV::stereoRectify/CV::initundistortrectifymap), które można później zastosować do swoich obrazów za pomocą CV::remap. Otrzymujemy również macierz o nazwie Q, która jest macierzą różniczkowalną do głębi.

Powodem korekty obrazów jest to, że po zakończeniu procesu dla pary obrazów( zakładając, że kalibracja jest prawidłowa), każdy piksel / obiekt w jeden obrazek znajduje się w tym samym wierszu na drugim obrazku.

Istnieje kilka sposobów, w zależności od tego, jakich funkcji szukasz na obrazie. Jednym ze sposobów jest użycie funkcji korespondencji stereo CVs, takich jak dopasowanie bloków Stereo lub dopasowanie bloków Semi Global. Daje to mapę różnic dla całego obrazu, który można przekształcić w punkty 3D za pomocą matrycy Q (CV::reprojectImageTo3D).

Upadek tego jest taki, że chyba w obrazie jest wiele informacji o teksturze, CV nie jest zbyt dobre w budowaniu gęstej mapy różnic (pojawią się w niej luki, w których nie można znaleźć prawidłowej różnicy dla danego piksela), więc innym podejściem jest znalezienie punktów, które chcesz dopasować. Powiedzmy, że znajdziesz funkcję / obiekt w x = 40, y = 110 na lewym obrazku i x=22 na prawym obrazku(ponieważ obrazy są poprawione, powinny mieć taką samą wartość y). Różnica jest obliczana jako d = 40-22 = 18.

Construct cv:: Point3f( x, y, d), w naszym przypadku (40,110,18). Znajdź inne interesujące punkty w ten sam sposób, a następnie wyślij wszystkie punkty do CV:: perspectiveTransform (z macierzą Q jako macierzą transformacji, zasadniczo ta funkcja to CV:: reprojectImageTo3D, ale dla map o małej różnicy), a wyjściem będą punkty w układzie współrzędnych XYZ z lewą kamerą na środku.