Chuyển đổi điểm 2D sang vị trí 3D

Tôi có một máy ảnh cố định với biết cameraMatrixvà distCoeffs. Tôi cũng có một bàn cờ cũng được cố định transformvà rotationvectơ cũng được tính toán bằng cách sử dụng solvePnP.

Tôi đang tự hỏi làm thế nào có thể có được vị trí 3D của một điểm 2D trên cùng mặt phẳng mà bàn cờ được đặt, như hình dưới đây:

Một điều chắc chắn là Z của điểm đó là 0, nhưng làm thế nào để lấy X và Y của điểm đó.

Bạn có thể giải quyết điều này bằng 3 bước đơn giản:

Bước 1:

Tính toán vectơ chỉ hướng 3d, được biểu thị trong khung tọa độ của máy ảnh, của tia tương ứng với điểm hình ảnh 2d đã cho bằng cách đảo ngược mô hình chiếu của máy ảnh:

std::vector<cv::Point2f> imgPt = {{u,v}}; // Input image point
std::vector<cv::Point2f> normPt;
cv::undistortPoints     (imgPt, normPt, cameraMatrix, distCoeffs);
cv::Matx31f ray_dir_cam(normPt[0].x, normPt[0].y, 1);
// 'ray_dir_cam' is the 3d direction of the ray in camera coordinate frame
// In camera coordinate frame, this ray originates from the camera center at (0,0,0)

Bước 2:

Tính hướng 3d của vectơ của tia này trong khung tọa độ được gắn vào bàn cờ, sử dụng tư thế tương đối giữa máy ảnh và bàn cờ:

// solvePnP typically gives you 'rvec_cam_chessboard' and 'tvec_cam_chessboard'
// Inverse this pose to get the pose mapping camera coordinates to chessboard coordinates
cv::Matx33f R_cam_chessboard;
cv::Rodrigues(rvec_cam_chessboard, R_cam_chessboard);
cv::Matx33f R_chessboard_cam = R_cam_chessboard.t();
cv::Matx31f t_cam_chessboard = tvec_cam_chessboard;
cv::Matx31f pos_cam_wrt_chessboard = -R_chessboard_cam*t_cam_chessboard;
// Map the ray direction vector from camera coordinates to chessboard coordinates
cv::Matx31f ray_dir_chessboard = R_chessboard_cam * ray_dir_cam;

Bước 3:

Tìm điểm 3d mong muốn bằng cách tính giao điểm giữa tia 3d và mặt phẳng bàn cờ với Z = 0:

// Expressed in the coordinate frame of the chessboard, the ray originates from the
// 3d position of the camera center, i.e. 'pos_cam_wrt_chessboard', and its 3d
// direction vector is 'ray_dir_chessboard'
// Any point on this ray can be expressed parametrically using its depth 'd':
// P(d) = pos_cam_wrt_chessboard + d * ray_dir_chessboard
// To find the intersection between the ray and the plane of the chessboard, we
// compute the depth 'd' for which the Z coordinate of P(d) is equal to zero
float d_intersection = -pos_cam_wrt_chessboard.val[2]/ray_dir_chessboard.val[2];
cv::Matx31f intersection_point = pos_cam_wrt_chessboard + d_intersection * ray_dir_chessboard;

Vì trường hợp của bạn giới hạn ở đồng bằng, Cách đơn giản là sử dụng Homography.

Đầu tiên undistort hình ảnh của bạn. Sau đó, sử dụng findHomography để tính toán ma trận Homography biến đổi tọa độ pixel (hình ảnh) của bạn thành tọa độ thực (không gian euclide, ví dụ tính bằng cm). Một cái gì đó tương tự như thế này:

#include <opencv2/calib3d.hpp>
//...

//points on undistorted image (in pixel). more is better
vector<Point2f>  src_points = { Point2f(123,321), Point2f(456,654), Point2f(789,987), Point2f(123,321) };
//points on chessboard (e.g. in cm)
vector<Point2f>  dst_points = { Point2f(0, 0), Point2f(12.5, 0), Point2f(0, 16.5), Point2f(12.5, 16.5) }; 
Mat H = findHomography(src_points, dst_points, RANSAC);

//print euclidean coordinate of new point on undistorted image (in pixel)
cout << H * Mat(Point3d(125, 521, 0)) << endl;