Ước tính vị trí 3D bằng camera 2D

Tôi có một máy ảnh (iPhone), tôi có một đối tượng điều khiển 3D trong hình ảnh mà tôi biết rất rõ các thuộc tính của nó. (Đối tượng kiểm soát của tôi). Ngoài ra còn có một đối tượng thứ cấp trong chuyển động. Mục tiêu cuối cùng là thiết lập quỹ đạo 3D của vật thể chuyển động trong một khoảng thời gian nhất định. (Theo dõi)

Tôi muốn hỏi, tôi có thể tìm hiểu?

• Khoảng cách của điện thoại đến đối tượng điều khiển (để thảo luận, giả sử máy ảnh ở độ cao nhất định và khoảng cách nhất định không ai trong số chúng biết nhưng máy ảnh vuông góc với bề mặt đã biết)

• Đối tượng thứ cấp nơi tôi có thể định vị đối tượng trong mỗi khung tiếp theo. Mục tiêu của tôi là ước tính quỹ đạo 3D của nó như tôi đã chỉ ra ở trên.

Câu hỏi bổ sung, chúng ta có thể đặt hệ thống sao cho khoảng cách điện thoại đến đối tượng điều khiển có thể được đặt (mặc dù không được ưu tiên), điều này có giúp tôi với điểm thứ hai không?

Nếu đối tượng của bạn có 6 điểm đã biết (tọa độ 3D đã biết, và Z ), bạn có thể tính toán vị trí của máy ảnh liên quan đến hệ tọa độ đối tượng.$X, Y$$Z$

Đầu tiên một số điều cơ bản.

Tọa độ đồng nhất là trình bày vector của Euclide phối hợp trong đó chúng tôi đã gắn cái gọi là yếu tố quy mô ω như vậy mà các tọa độ đồng nhất là X = ω [ X Y Z 1 ] T . Trong tính toán của riêng bạn cố gắng giữ ω = 1 càng nhiều càng tốt (có nghĩa là bạn "bình thường hóa" các tọa độ đồng nhất bằng cách chia nó với yếu tố cuối cùng của nó: X ← $(X,Y,Z)$$\omega$$\textbf{X} = \omega \begin{bmatrix}X & Y & Z & 1\end{bmatrix}^T$$\omega=1$ ). Chúng tôi cũng có thể sử dụng trình bày đồng nhất cho 2D chỉ như vậyx=ω[ X Y 1 ](hãy nhớ rằng nhữngω,X,YvàZlà khác nhau cho mỗi điểm, có thể là 2D hoặc 3D điểm). Trình bày phối hợp đồng nhất làm cho toán dễ dàng hơn.$\textbf{X} \leftarrow \frac{\textbf{X}}{\omega}$$\textbf{x} = \omega\begin{bmatrix}X & Y & 1\end{bmatrix}$$\omega, X,Y$$Z$

Ma trận máy ảnh là ma trận chiếu từ thế giới 3D đến cảm biến hình ảnh:$3\times4$

$$\textbf{x} = P\textbf{X}$$

Trong đó là điểm trên cảm biến hình ảnh (có đơn vị pixel) và X là điểm 3D được chiếu (giả sử rằng nó có milimet là đơn vị của nó).$\textbf{x}$$\textbf{X}$

Chúng ta nhớ rằng tích chéo giữa hai vectơ 3 có thể được định nghĩa là phép nhân vectơ ma trận sao cho:

$$\textbf{v} \times \textbf{u} = \\ ( \textbf{v} )_x \textbf{u} = \\ \begin{bmatrix} 0 & -v_3& v_2 \\ v_3 & 0 & -v_1 \\ -v_2 & v_1 & 0 \end{bmatrix} \textbf{u}$$

$\textbf{v} \times \textbf{v} = \textbf{0}$

$P$$\textbf{x}$

$$(\textbf{x})_x\textbf{x} = (\textbf{x})_xP\textbf{X} = \textbf{0}$$

Aha! Kết quả phải là vectơ không. Nếu bây giờ chúng ta mở phương trình, chúng ta sẽ nhận được:

$$\begin{bmatrix} 0 & -w& y \\ w & 0 & -x \\ -y & x & 0 \end{bmatrix} \begin{bmatrix} P_{1,1} & P_{1,2} & P_{1,3} & P_{1,4} \\ P_{2,1} & P_{2,2} & P_{2,3} & P_{2,4} \\ P_{3,1} & P_{3,2} & P_{3,3} & P_{3,4} \end{bmatrix} \textbf{X} \\ = \begin{bmatrix} P_{3,4} W y - P_{2,1} X w - P_{2,2} Y w - P_{2,4} W w + P_{3,1} X y - P_{2,3} Z w + P_{3,2} Y y + P_{3,3} Z y \\ P_{1,4} W w + P_{1,1} X w - P_{3,4} W x + P_{1,2} Y w - P_{3,1} X x + P_{1,3} Z w - P_{3,2} Y x - P_{3,3} Z x \\ P_{2,4} W x + P_{2,1} X x - P_{1,4} W y - P_{1,1} X y + P_{2,2} Y x - P_{1,2} Y y + P_{2,3} Z x - P_{1,3} Z y \end{bmatrix} = \textbf{0}$$

$P$

$$\tiny \begin{bmatrix} 0 & 0 & 0 & 0 & - X\, w & - Y\, w & - Z\, w & - W\, w & X\, y & Y\, y & Z\, y & W\, y\\ X\, w & Y\, w & Z\, w & W\, w & 0 & 0 & 0 & 0 & - X\, x & - Y\, x & - Z\, x & - W\, x\\ - X\, y & - Y\, y & - Z\, y & - W\, y & X\, x & Y\, x & Z\, x & W\, x & 0 & 0 & 0 & 0 \end{bmatrix} \begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} = \textbf{0}$$

$\textbf{P}_n$$n$$P$

Tạm dừng nhỏ để chúng tôi có thể thu thập khó khăn của chúng tôi. Lưu ý rằng phương trình ma trận trước phải được hình thành cho mỗi tương ứng 3D-> 2D đã biết (phải có ít nhất 6 trong số chúng).

$2\times12$$A$

$$A\begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} = \textbf{0}$$

$$\begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} = \textbf{0}$$

May mắn thay, chúng ta có thể sử dụng phân rã giá trị số ít (SVD) để buộc

$$\| \begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} \|=1$$

$A$$P$$\begin{bmatrix} \textbf{P}_1 & \textbf{P}_2 & \textbf{P}_3 \end{bmatrix}^T$$P$

$P$

$$P = K\begin{bmatrix}R & -R\textbf{C}\end{bmatrix}$$

$\textbf{C}$$P$$P$

(Hartley, Zisserman - Hình học nhiều chế độ trong thị giác máy tính)

$X$

$$\textbf{x}_1 = P_1 \textbf{X} \\ \textbf{x}_2 = P_2 \textbf{X} \\ $$

$$(\textbf{x}_1)_xP_1\textbf{X} = \textbf{0} \\ (\textbf{x}_2)_xP_2\textbf{X} = \textbf{0} \\ $$

Và như thế.