Số liệu tốt để so sánh định tính các bản vá hình ảnh

Tôi đang cố gắng "khớp" các mảng vuông nhỏ trong một hình ảnh. Thoạt nhìn, có vẻ hợp lý khi chỉ cần thực hiện so sánh kiểu khoảng cách Euclide của hai trong số các mảng này để có được số đo "tương tự". Điều này hoạt động tốt trong nhiều trường hợp (bản vá "tốt nhất" (giá trị thấp nhất) theo số liệu này trông rất giống với bản vá truy vấn). Tuy nhiên, có nhiều trường hợp điều này tạo ra một trận đấu rất tệ. Ví dụ: lấy hai cặp vá này:

Hai bản vá của một bức tường gạch, điểm 134 (đây là tổng của các thành phần của chênh lệch pixel tuyệt đối trung bình):

Một mảng tường gạch, một mảng cỏ, điểm 123!

Đối với một con người, "rõ ràng" cỏ không khớp với cục gạch, nhưng số liệu này lại nói khác. Vấn đề chỉ là trong các biến thể thống kê địa phương.

Nếu tôi sử dụng một cái gì đó như so sánh biểu đồ, tôi hoàn toàn mất tất cả thông tin không gian - ví dụ: nếu một miếng vá là cỏ trên đỉnh và gạch ở dưới cùng, nó sẽ khớp chính xác với một miếng vá với cỏ ở dưới và gạch ở trên cùng (một lần nữa , một trận đấu "rõ ràng sai" khác).

Có một số liệu nào đó kết hợp cả hai ý tưởng này thành một giá trị hợp lý sẽ đánh giá là "tương tự" cho Cặp 1 ở trên, nhưng cũng không giống với ví dụ của tôi về một bản vá và gương dọc của nó?

Mọi góp ý đều được đánh giá cao!

Ý tưởng thiết yếu là: Không có gì sai với thông tin màu sắc - nó chỉ là không đủ. Vì vậy, điều tốt nhất là kết hợp nhiều bộ tính năng.

Bạn có thể thử nhiều tính năng để giải quyết sự mơ hồ này. Theo như bộ tính năng có liên quan, bạn có thể sử dụng như sau:

1. Màu sắc (giống như màu chủ đạo của MPEG7 ) HOẶC Lịch sử màu
2. Kết cấu (dưới dạng phản hồi ngân hàng Lọc) HOẶC
3. Biểu đồ cạnh

Để so sánh chính, trước tiên tôi muốn phân biệt giữa bản vá gạch tinh khiết và bản vá cỏ tinh khiết. Đối với điều này, màu sắc chắc chắn là yếu tố tiềm năng nhất.

Kết hợp các tính năng để phân loại mạnh mẽ hơn

Tôi sẽ sử dụng màu chủ đạo (sử dụng nhưng không phải màu duy nhất) hoặc màu chính và tạo thành cụm. Xem vị trí của các đầu cụm;

Nếu cả hai đầu cụm nằm trong khu vực dự kiến, lớp thường dễ phát hiện, nếu chúng rơi vào vùng xám, thì lớp thuộc về đó. Nếu nó rơi vào vùng màu xám, một tính năng khác là bắt buộc.

Sameway, bạn có thể phân loại độc lập bằng ma trận Texture và sau đó kết hợp cả hai điểm số để đảm bảo rằng kết quả có ý nghĩa.

Xử lý các vấn đề không gian

Cụ thể khi bạn nhận ra rằng các miếng vá có thể có các phần của nó là một nửa viên gạch và một nửa cỏ. Tôi nghĩ rằng bạn không cần thêm bất kỳ tính năng bổ sung hoặc ma trận khác. Điều này có thể được xử lý theo hai cách.

1. Giữ nhiều bản vá thành viên như các lớp khác nhau. Ví dụ, ngoài birck-onlylớp và grass-onlylớp, bạn cũng có thể có half-brick-half-grass-verticalvà half-brick-half-grass-horizontaltổng cộng bốn lớp. Điều này có thể được phân loại dễ dàng bằng phương pháp phân cụm mà chúng ta đã thảo luận trước đó.

2. Thêm phân loại đa tỷ lệ Ví dụ, do miếng vá nằm trong vùng màu xám, bạn có thể chia miếng vá thành hai phần tức là trái so với phải. Tương tự như vậy bạn cũng có thể chia trên cùng so với dưới cùng. Bây giờ bạn có thể áp dụng phân loại giống hệt nhau cho "một nửa" này. Lý tưởng nhất là tính năng được liệt kê ở trên sẽ cho phép bạn làm cho nó có thể mở rộng để so sánh sự tương đồng về tính năng giữa toàn bộ phần (ví dụ màu chủ đạo có thể giống nhau bất kể kích thước) hoặc yo có thể phải thay đổi kích thước.

Thêm nhiều lớp hơn (như trong phần 1) hoặc nhiều cấp độ hơn (như trong phần 2) sẽ được chuyển thẳng; giới hạn trên sẽ có hai yếu tố - bất kỳ phân chia bổ sung nào sẽ không còn thêm bất kỳ giá trị nào vào phân loại hoặc tiếng ồn quá mức sẽ gây ra sự mơ hồ trong phân loại một cách hiệu quả. Đây là nơi bạn dừng lại.

Để bắt đầu, 2 hình ảnh và 3 phép đo không đủ chính xác để xác định bất kỳ loại mô hình thống kê nào có thể được sử dụng để xác định số liệu so sánh tối ưu.

Tôi nghĩ rằng bạn có thể bắt đầu xem xét các giấy tờ nhận dạng kết cấu cho các phương pháp và manh mối. Đây là một lĩnh vực hoạt động.

Để biết giá trị của nó, tôi đã chạy thử nghiệm một số hàm băm nhận thức (dựa trên DCT và Phép chiếu ngẫu nhiên) và đã thực hiện một thử nghiệm nhỏ với cái gọi là mô tả SIFT. Các chức năng này có thể phân tách khoảng cách giữa các lớp và nội bộ, mặc dù từ 3 hình ảnh không thể kết luận bất cứ điều gì.

Mã trên github .