Các thao tác xử lý ảnh cần thiết trước khi khớp mẫu

Chà, điều này có thể cho thấy tôi đã không tham gia lớp xử lý hình ảnh.

Tôi có mẫu này để phù hợp với một đối tượng trong hình ảnh. Nhưng đối tượng thực sự trong hình ảnh, ví dụ, không giống như thế mà là hình ảnh thứ hai. Tôi cần thực hiện các thao tác nào cho các hình ảnh như hình ảnh thứ hai để sẵn sàng cho khớp mẫu? FYI, hình ảnh thứ ba cho thấy một kết hợp lý tưởng.

Trong một ý tưởng khác, tôi phù hợp với mẫu cho hình ảnh. Đó là, tôi đưa ra bốn tọa độ góc trên hình ảnh để khớp với các tọa độ trong mẫu. Sau đó, nó sẽ tính toán một cách để phù hợp với mẫu cho khu vực.

CẬP NHẬT: Vấn đề được giải quyết. Nhờ câu trả lời tôi chọn dưới đây. Tôi quản lý thành công để áp dụng mẫu của tôi trên hình ảnh. Hình ảnh cuối cùng cho thấy kết quả.

Hình ảnh mẫu bạn đã đăng có phối cảnh tương đối mạnh (nó không được chụp trực tiếp từ hướng của bề mặt bình thường) có thể gây ra sự cố với kỹ thuật khớp mẫu sử dụng xử lý khối. Tôi giả sử rằng bạn phải chụp ảnh với phối cảnh mạnh, vì vậy điều đầu tiên chúng tôi muốn làm là ước tính chuyển đổi hình ảnh sẽ loại bỏ hình chiếu phối cảnh và sẽ tạo ra hình ảnh được chỉnh sửa ("hình ảnh thẳng").

Sửa phối cảnh khi biết hình dạng

Mục tiêu cuối cùng của quá trình tiền xử lý là tìm các góc của hình chữ nhật màu xám đó làm nền cho biểu đồ màu. Tôi bắt đầu bằng cách đơn giản là ngưỡng với giá trị không đổi. Văn học / web có rất nhiều thông tin về cách thực hiện ngưỡng khi hình ảnh có ánh sáng không đồng đều, nhưng nếu bạn có thể, hãy cố gắng sửa thiết lập hình ảnh sao cho ánh sáng tương đối đồng đều.

Tôi giả định rằng biểu đồ màu chiếm phần khá lớn của màn hình, vì vậy nó có lẽ là vùng liên tục lớn nhất của hình ảnh. Tồn tại nhiều chức năng ghi nhãn đen và trắng (MATLABs bwlabel, IPPs LabelMarkers, OpenCV có thư viện bên ngoài cvblob) sẽ cung cấp cho mỗi khu vực được kết nối riêng biệt chỉ mục riêng. Sau khi ghi nhãn, bạn có thể tính toán các khu vực của các thành phần được kết nối bằng biểu đồ và sau đó chọn thành phần có diện tích lớn nhất.

Thông thường nên điền vào các thành phần sao cho thành phần không có lỗ, điều này làm giảm số lượng pixel cạnh.

Bây giờ chúng ta có thể sử dụng các toán tử tìm cạnh (tôi đã sử dụng phương pháp dựa trên độ dốc, nhưng bạn cũng có thể theo dõi cạnh bằng cách theo các pixel trắng được kết nối với các pixel đen) để lấy các pixel thuộc về nội trú.

Vì đối tượng chúng ta quan tâm là hình chữ nhật, tôi đã gắn bốn dòng vào các pixel cạnh bằng cách sử dụng khớp dòng mạnh mẽ (RANSAC). Sau khi tìm thấy dòng mới, tôi đã loại bỏ tất cả các điểm gần với dòng tìm thấy, điều này buộc các hoạt động khớp tiếp theo phải trả về các cạnh khác của đối tượng. Cuối cùng khi tất cả các cạnh được tìm thấy, tôi đã tính toán tất cả các giao điểm có thể có giữa các dòng. Từ tập hợp các điểm kết quả, tôi loại bỏ tất cả các điểm bên ngoài hình ảnh.

$H$$H$

$\textbf{x} = H\textbf{X}$

Ma trận biến đổi này sau đó có thể được sử dụng để biến đổi hình ảnh gốc sao cho biểu đồ màu được chụp trực tiếp từ hướng của bề mặt bình thường.

$H$

Nếu chúng ta vẫn muốn thực hiện một số khớp mẫu, chúng ta có thể sử dụng bất kỳ phương thức khớp mẫu nào. Phương pháp không phải là xoay / tỷ lệ bất biến vì hình ảnh đã được chỉnh sửa.

Bắt đầu với phát hiện cạnh. Sau đó sử dụng biến đổi Hough để phát hiện các đường thẳng. Sau đó tìm ra đường thẳng nào song song và đường thẳng nào phải vuông góc. Sau đó ước tính phép biến đổi chiếu để các đường thẳng vuông góc thực sự vuông góc với nhau.