Tiền xử lý để cải thiện theo dõi góc Harris giữa các khung hình video?

Trong ứng dụng ổn định hình ảnh video thang máy không người lái của chúng tôi, chúng tôi gặp khó khăn khi tìm các góc Harris "tốt" trong khung N + 1 được chọn từ khung N. Nguồn khó khăn dường như là thay đổi độ tương phản pixel không đồng nhất giữa các khung. Có lẽ là không khí và sử dụng tốc độ khung hình chậm (~ 3 khung hình / giây) là nguyên nhân gốc rễ của sự thay đổi độ tương phản pixel.

Chúng tôi đã thử các kỹ thuật cân bằng biểu đồ khác nhau để cố gắng làm mịn các độ tương phản pixel giữa các khung để cải thiện các góc Harris "tốt" trong khung N + 1. Kết quả tiếp tục kém.

Có ai có bất kỳ đề xuất nào về cách cải thiện theo dõi góc Harris giữa các khung hình video trong môi trường không khí ban ngày tốc độ khung hình chậm không? Cảm ơn bạn vui lòng trước.

Chỉnh sửa: 30 tháng 1 năm 2012, thêm hình ảnh trường hợp thử nghiệm (không phải kích thước khung hình thực tế)

Tóm tắt Cập nhật: 8 tháng 2 năm 2012. Mọi người đề xuất các góc Harris không quá hữu ích trong theo dõi tính năng video thang độ xám. Câu trả lời dưới đây gợi ý và cung cấp liên kết đến các lựa chọn thay thế khác nhau. Chúng tôi đang đánh giá các lựa chọn thay thế này và tôi sẽ báo cáo kết quả khi chúng tôi đạt đến điểm đó. Cảm ơn bạn, tất cả, cho ý kiến ​​và câu trả lời của bạn.

Đây là khung N trước với 35 góc harris 5x "tốt" được chọn. Khung ban đầu là 8 bpp pixel thô.

Đây là một góc 5x5 Harris tuyệt vời nằm ở hàng 59 col 266:

Khung hiện tại N + 1 với một vài góc 5x5 Harris được theo dõi, chỉ một trong số đó là hợp lệ:

Khung trước 5x5 Harris góc xuất hiện trong khung N + 1 tại r47 c145:

Lưu ý cách cường độ điểm ảnh trong 5x5 đã chọn đã thay đổi theo cách không đồng nhất từ ​​khung trước sang khung hiện tại. Các kỹ thuật cân bằng tương phản giữa các khung không giúp phát hiện khung hình trước đó được chọn 5x5 pixel trong khung hình hiện tại. Mọi lời đề nghị đều được chào đón.

Bạn có thể thử một máy dò tính năng khác nhau? NHANH CHÓNG có thể, erm, nhanh hơn và tốc độ khung hình cao hơn sẽ giúp việc kết hợp dễ dàng hơn (giả sử các tính năng của bạn đang di chuyển rất nhiều giữa các khung)

Có vẻ như bạn đang cố gắng sử dụng vùng thang độ xám xung quanh điểm đặc trưng đã xác định để khớp từ khung này sang khung khác. Đây là khả năng là người nghèo, đặc biệt là nếu có rất nhiều phong trào giữa các khung.

Bạn có thể có hiệu suất tốt hơn bằng cách sử dụng cái thường được gọi là "mô tả" của khu vực xung quanh điểm đặc trưng để khớp.

Một số mô tả có thể được sử dụng trong thuật toán SURF và SIFT - chúng cũng có các kỹ thuật để xác định các khu vực để theo dõi, nhưng bạn đã bỏ qua yêu cầu cho điều đó. Một mô tả đơn giản hơn được thiết kế để sử dụng cho kết hợp tầm nhìn âm thanh nổi là biến đổi Điều tra dân số mặc dù điều đó có thể không hoạt động tốt để khớp từ khung này sang khung khác, vì nhiều lý do giống như phương pháp hiện tại của bạn (cũng được triển khai rộng rãi trong tầm nhìn âm thanh nổi)

Cuốn sách để đọc về điều này là Hình học nhiều chế độ trong Thị giác máy tính .

Thay thế cho SIFT / SURF / Khác, bạn cũng có thể sử dụng tương quan pha FFT, nếu các khung được chuyển đổi bởi hầu hết các bản dịch (xoay / phối cảnh là nhỏ). Bạn cũng có thể áp dụng tương quan pha cho các vùng hình ảnh lặp đi lặp lại để có độ chính xác tốt hơn.

http://en.wikipedia.org/wiki/Phase_correlation

Nếu bạn đang cố gắng căn chỉnh hai hình ảnh, bạn nên sử dụng trình phát hiện tính năng cục bộ tốt hơn. SIFT có lẽ là một phổ biến nhất / thành công để sử dụng.

Tôi nghĩ rằng tốt hơn là sử dụng Shi và Tomasi, bạn có thể sử dụng chúng với cùng chức năng goodfeaturestotrack, nó cho kết quả tốt hơn so với các góc harris