Làm thế nào để có được các đám mây điểm dày đặc từ máy ảnh âm thanh nổi?

Tôi đang cố gắng sử dụng máy ảnh âm thanh nổi để tái tạo cảnh, nhưng tôi thường chỉ có thể thu được các đám mây điểm thưa thớt (tức là hơn một nửa hình ảnh không có bất kỳ thông tin độ sâu phù hợp nào).

Tôi nhận ra rằng các thuật toán xử lý âm thanh nổi dựa vào sự hiện diện của kết cấu trong hình ảnh và có một vài tham số có thể được điều chỉnh để thu được kết quả tốt hơn, chẳng hạn như phạm vi chênh lệch hoặc kích thước cửa sổ tương quan. Mặc dù tôi điều chỉnh các tham số này, tuy nhiên, tôi không bao giờ có thể nhận được kết quả thậm chí gần với những gì có thể thu được bằng cách sử dụng cảm biến hoạt động như Kinect.

Lý do tại sao tôi muốn điều đó là bởi vì rất thường xuyên các đám mây điểm tương ứng với các vùng lân cận không có đủ sự chồng chéo để tôi có được một trận đấu, do đó việc tái cấu trúc bị suy giảm nghiêm trọng.

Câu hỏi của tôi cho các chuyên gia về Tầm nhìn Máy tính ngoài kia là: tôi có thể làm gì để có được các đám mây điểm dày đặc hơn (mà không tự ý sửa đổi môi trường văn phòng của mình)?

Bạn có thể cố gắng bỏ qua việc phát hiện điểm nổi bật và chỉ lấy mẫu dày đặc trên hình ảnh (dưới dạng lưới hoặc hơn) và tính toán mô tả tính năng tại mỗi điểm mẫu. Bạn thậm chí có thể đi xa như tính toán một mô tả cho mỗi pixel.

Bạn có thể mất tính bất biến tỷ lệ, nhưng tôi nghĩ rằng điều này sẽ không ảnh hưởng quá nhiều đến tầm nhìn âm thanh nổi vì các vật thể sẽ có cùng tỷ lệ trong cả hai hình ảnh.

Một cách tiếp cận khác có thể là kết hợp nhiều thuật toán phát hiện điểm nổi bật: góc, cạnh, đốm màu, v.v. Sau đó, bạn phải sử dụng cùng một thuật toán mô tả tính năng cho tất cả các điểm được phát hiện, tuy nhiên phần sau này có thể hơi khó thực hiện.

Vì vậy, các thuật toán xử lý hình ảnh âm thanh nổi mà tôi đã sử dụng trong quá khứ đã được triển khai từng pixel. Chúng tôi chỉ sử dụng mô hình máy ảnh pinhole và thực hiện một số phép đo lỗi thời với băng đo cho đến khi ước tính độ sâu của chúng tôi khớp với thực tế.

Các phương trình cho một cặp camera song song là:

• $d =$
• $f =$
• Khung tọa độ:
  • $x, y, z =$
  • $u_R, v_R$
  • $u_L, v_L$
  • Lưu ý: tọa độ camera có nguồn gốc của chúng tại khung tọa độ giữa các camera (tức là các trục u hướng ngược nhau)

$u_L = \frac{f(x-d)}{z}$$u_R = \frac{f(x+d)}{z}$

$zu_R = f(x+d)$$zu_L = f(x-d)$

$z(u_R - u_L) = 2df$

$z = \frac{2df}{u_R - u_L}$

$y = \frac{v_L*z + df}{f}$

$x = \frac{u_L*z + df}{f}$

Sử dụng các phương trình này, bạn có thể tính toán một đám mây âm thanh nổi dày đặc. Một cho mỗi pixel trên máy ảnh của bạn.

Khi bạn nói, "hơn một nửa hình ảnh không có bất kỳ thông tin độ sâu phù hợp", đó là một nửa?

Một vấn đề chúng tôi gặp phải là nếu khoảng cách đến vật thể có cùng độ lớn so với đường cơ sở của bạn (thường được kết hợp với máy ảnh góc rất rộng), thì thuật toán âm thanh nổi dày đặc "tiêu chuẩn" sẽ không hoạt động tốt. Chúng tôi đã sử dụng thư viện libelas và các nhà phát triển của nó nói với chúng tôi rằng đây được gọi là "âm thanh nổi cơ sở lớn" và đây là một vấn đề khác.

Có một cái nhìn về các nhà lãnh đạo tiêu chuẩn âm thanh nổi KITTI . Điểm chuẩn này phạt các thuật toán vì không tạo ra sự chênh lệch tại bất kỳ điểm nào, do đó, những người thực hiện hàng đầu tạo ra kết quả dày đặc (ngay cả khi họ không có nhiều cơ sở để ước tính ở nhiều điểm). Một số phương pháp có mã công khai có sẵn được liên kết, bạn có thể thử.

Lưu ý rằng chúng không bị phạt vì mất nhiều thời gian, vì vậy nhiều phương pháp sẽ theo thứ tự số phút cho mỗi hình ảnh để chạy và có thể không phù hợp với ứng dụng của bạn. Đã có nhiều phương pháp dựa trên CNN được giới thiệu mặc dù hoạt động rất tốt, trong khi vẫn chạy trong chưa đầy một giây (trên GPU). Ít nhất một trong số này (CRL) có mã công khai.

Nếu bạn vẫn không có được ước tính độ sâu phù hợp với những điều này trên hình ảnh của mình, thì bạn có thể đang nhìn thấy giới hạn của những gì khả thi từ cách tiếp cận có thể nhìn thấy. Về cơ bản cần phải có kết cấu đặc biệt trong khu vực để có thể khớp điểm tốt hoặc bạn cần một cơ sở để đưa ra một số giả định mạnh mẽ (ví dụ, độ mịn) ở các vùng không có họa tiết.