Xử lý hình ảnh lập thể để chuyển đổi từ 3D sang 2D

Tôi tự hỏi liệu có thể chụp ảnh lập thể và tổng hợp chúng theo cách làm cho nó trở thành một hình ảnh đơn sắc, với quan điểm kết quả ở trung tâm nơi hai quan điểm thực sự ở đâu.

Ví dụ: nếu tôi có hai camera cách nhau khoảng 1 ft, mỗi camera sẽ chụp ảnh một đối tượng cách xa 3 ft cùng một lúc, tôi có thể chụp ảnh kết quả, xử lý chúng và làm cho hình ảnh kết quả xuất hiện như thể nó là chụp từ camera thứ 3 đặt ở giữa hai bên ngoài?

Có các công cụ cho loại nội suy này? Tôi nhớ một vài cảnh trong quá trình thực hiện Ma trận nơi họ nói về việc lấp đầy các khung quay, và chỉ mất khoảng 4 hoặc 5 máy ảnh để xử lý việc quay phim. (Công bằng mà nói, tôi cũng nhớ phần họ có cả một dãy máy ảnh, mỗi khung hình chụp một khung hình.)

Điều này có thể không? Nếu vậy, bạn sẽ sử dụng công cụ nào để làm điều đó?

Trong hầu hết các trường hợp, bạn có thể tái tạo lại một hình ảnh có vẻ thuyết phục, nhưng bạn không thể tạo lại những gì thực sự nhìn thấy từ một điểm giữa các quan điểm.

Lấy ví dụ một hình ảnh được chụp ngay trước hàng rào gỗ, trong đó hai điểm nhìn được đặt ở giữa một bảng để cả hai chỉ nhìn thấy bảng. Một quan điểm ở giữa sẽ nhìn thấy giữa các bảng:

    ^
    |
--- | ---
 o  x  o

Tất nhiên không thể tạo lại những gì nhìn thấy giữa các bảng từ hai hình ảnh của bảng.

Trong hầu hết các bức ảnh sẽ có một số góc nhất định không nhìn thấy từ một trong hai góc nhìn, nhưng sẽ được nhìn từ một góc nhìn ở giữa. Một công cụ tạo ra hình ảnh đơn sắc sẽ phải đoán những gì có thể nhìn thấy.

Kiểm tra Piku Piku .

Theo như tôi có thể nói, họ sử dụng một cái gì đó như dòng quang để tìm các pixel phù hợp trong hai hình ảnh, sau đó sử dụng thông tin độ sâu để tạo chế độ xem nội suy, với một dự đoán đơn giản gần nhất cho các pixel bị thiếu. Nó hoạt động khá tốt trên các hình ảnh lập thể mà tôi đã thử với nó, và cho hiệu quả được cải thiện so với soi nổi lập thể . Bạn có thể thấy các pixel được điền đầy đủ và một số lỗi trong ví dụ này .

Nói chung, điều này được gọi là nội suy xem .

Trong nhiều trường hợp như vậy, chẳng hạn như hàng rào gỗ của Guffa, điều đó là không thể. Trong một số trường hợp khác, chẳng hạn như một tiêu điểm xa vô hạn, nó là tầm thường. Đối với tất cả mọi thứ ở giữa, nó thực sự rất khó. Có nhiều phần mềm để làm điều đó, bao gồm cả phần sụn trên Kinect. Mẹo nhỏ là bạn phải lấy hai chế độ xem và sử dụng chúng để tạo mô hình 3d về thế giới trước máy ảnh, sau đó tạo chế độ xem thế giới đó từ điểm mong muốn.

Với một số dự án Kinect hiện tại, bạn có thể di chuyển quan điểm ảo tùy ý, nhìn cảnh từ trên cao hoặc từ bên cạnh. Các camera bạn di chuyển càng xa thì càng có nhiều thông tin không có sẵn, và do đó càng có nhiều khoảng trống trong bức ảnh kết quả.