Python Opencv SolvePnP daje błędny wektor tłumaczenia

Próbuję skalibrować i znaleźć lokalizację i obrót pojedynczej kamery wirtualnej w Blender 3D za pomocą homografii. Używam blendera, aby móc dwukrotnie sprawdzić moje wyniki, zanim przejdę do prawdziwego świata, gdzie jest to trudniejsze. Wykonałem dziesięć zdjęć szachownicy w różnych miejscach i obrotach w widoku mojego stacjonarnego aparatu. W Pythonie opencv użyłem cv2.calibrateCamera do odnalezienia matrycy wewnętrznej z wykrytych narożników szachownicy w dziesięć obrazów, a następnie użył tego w cv2.solvePnP, aby znaleźć parametry zewnętrzne (tłumaczenie i obrót). Jednak, choć szacowane parametry były zbliżone do rzeczywistych, dzieje się coś podejrzanego. Moje wstępne oszacowanie tłumaczenia było (-0.11205481,-0.0490256, 8.13892491). Miejscu pod względem liczby ludności, natomiast pod względem powierzchni na miejscu 7105. Całkiem blisko, prawda? Ale kiedy przesunąłem I obróciłem nieco aparat i ponownie odtworzyłem obrazy, szacowane tłumaczenie stało się dalej. Szacowane: (-0.15933154,0.13367286,9.34058867). Rzeczywista: (-1.7918,-1.51073,9.76597). Wartość Z jest bliska, ale X I Y nie są. Jestem kompletnie zdezorientowany. Jeśli ktoś mógłby mi pomóc, byłbym bardzo wdzięczny. Oto kod (oparty na przykładzie kalibracji python2 dostarczonym z opencv):

#imports left out
USAGE = '''
USAGE: calib.py [--save <filename>] [--debug <output path>] [--square_size] [<image mask>]
'''   

args, img_mask = getopt.getopt(sys.argv[1:], '', ['save=', 'debug=', 'square_size='])
args = dict(args)
try: img_mask = img_mask[0]
except: img_mask = '../cpp/0*.png'
img_names = glob(img_mask)
debug_dir = args.get('--debug')
square_size = float(args.get('--square_size', 1.0))

pattern_size = (5, 8)
pattern_points = np.zeros( (np.prod(pattern_size), 3), np.float32 )
pattern_points[:,:2] = np.indices(pattern_size).T.reshape(-1, 2)
pattern_points *= square_size

obj_points = []
img_points = []
h, w = 0, 0
count = 0
for fn in img_names:
    print 'processing %s...' % fn,
    img = cv2.imread(fn, 0)
    h, w = img.shape[:2]
    found, corners = cv2.findChessboardCorners(img, pattern_size)        

    if found:
        if count == 0:
            #corners first is a list of the image points for just the first image.
            #This is the image I know the object points for and use in solvePnP
            corners_first =  []
            for val in corners:
                corners_first.append(val[0])                
            np_corners_first = np.asarray(corners_first,np.float64)                
        count+=1
        term = ( cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_COUNT, 30, 0.1 )
        cv2.cornerSubPix(img, corners, (5, 5), (-1, -1), term)
    if debug_dir:
        vis = cv2.cvtColor(img, cv2.COLOR_GRAY2BGR)
        cv2.drawChessboardCorners(vis, pattern_size, corners, found)
        path, name, ext = splitfn(fn)
        cv2.imwrite('%s/%s_chess.bmp' % (debug_dir, name), vis)
    if not found:
        print 'chessboard not found'
        continue
    img_points.append(corners.reshape(-1, 2))
    obj_points.append(pattern_points)        

    print 'ok'

rms, camera_matrix, dist_coefs, rvecs, tvecs = cv2.calibrateCamera(obj_points, img_points, (w, h))
print "RMS:", rms
print "camera matrix:\n", camera_matrix
print "distortion coefficients: ", dist_coefs.ravel()    
cv2.destroyAllWindows()    

np_xyz = np.array(xyz,np.float64).T #xyz list is from file. Not shown here for brevity
camera_matrix2 = np.asarray(camera_matrix,np.float64)
np_dist_coefs = np.asarray(dist_coefs[:,:],np.float64)    

found,rvecs_new,tvecs_new = cv2.solvePnP(np_xyz, np_corners_first,camera_matrix2,np_dist_coefs)

np_rodrigues = np.asarray(rvecs_new[:,:],np.float64)
print np_rodrigues.shape
rot_matrix = cv2.Rodrigues(np_rodrigues)[0]

def rot_matrix_to_euler(R):
    y_rot = asin(R[2][0]) 
    x_rot = acos(R[2][2]/cos(y_rot))    
    z_rot = acos(R[0][0]/cos(y_rot))
    y_rot_angle = y_rot *(180/pi)
    x_rot_angle = x_rot *(180/pi)
    z_rot_angle = z_rot *(180/pi)        
    return x_rot_angle,y_rot_angle,z_rot_angle

print "Euler_rotation = ",rot_matrix_to_euler(rot_matrix)
print "Translation_Matrix = ", tvecs_new

Dziękuję Bardzo

Author: amartin7211, 2013-01-25

1 answers

Myślę, że możesz myśleć o tvecs_newjako o pozycji kamery. Nieco mylące, że nie jest to przypadek! W rzeczywistości jest to pozycja pochodzenia światowego w Ko-orderach. Aby uzyskać pozę kamery w Ko-orderach obiektu / świata, uważam, że musisz to zrobić: {]}

-np.matrix(rotation_matrix).T * np.matrix(tvecs_new)

I można uzyskać kąty Eulera używając cv2.decomposeProjectionMatrix(P)[-1] Gdzie P jest [r|t] macierzą zewnętrzną 3 na 4.

Znalazłem Ten to całkiem dobry artykuł o wewnętrznych i zewnętrznych elementach...

 20
Author: fraxel,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2016-12-01 19:24:34