Đăng ký hình ảnh theo phân khúc

Các thuật toán đăng ký hình ảnh thường dựa trên các tính năng điểm như SIFT (Chuyển đổi tính năng bất biến tỷ lệ).

Tôi thấy một số tài liệu tham khảo về các tính năng đường, nhưng tôi đã tự hỏi liệu có thể khớp các phân đoạn hình ảnh thay vì các điểm không . Ví dụ: nguồn đã cho và hình ảnh được chuyển đổi:

nhập mô tả hình ảnh ở đây

Tôi có thể thực hiện phát hiện cạnh, làm mờ và Biến đổi đầu nguồn trên mỗi:

nhập mô tả hình ảnh ở đây

Đáng tiếc, phân đoạn hóa ra quá khác nhau trên mỗi hình ảnh để phù hợp với các phân khúc riêng lẻ.

Tôi đã thấy một số bài viết về hình dạng phù hợp và mô tả hình dạng bất biến đối với các phép biến đổi affine, vì vậy khu vực này dường như có triển vọng ...

Có bất kỳ phương pháp phân đoạn nào mạnh mẽ hơn để biến dạng affine (hoặc thậm chí là chiếu) của hình ảnh?

local-features image-segmentation image-registration

— Thiên Bình
nguồn

Tâm lý chung của tôi nói với tôi rằng các khu vực nhỏ hơn mạnh mẽ hơn đối với các biến đổi toàn cầu. Vì vậy, phân khúc nên có rất nhiều phân khúc nhỏ. Ngoài ra, một số hình dạng cụ thể là bất biến đối với một số biến đổi, (như vòng tròn thành phép quay)

— Andrey Rubshtein

MSER (Vùng cực hạn ổn định tối đa) là vùng, không phải điểm. Và chúng bất biến đối với sự biến đổi affine. Nhưng đó không phải là một phương pháp phân khúc, nói đúng ra.

— Niki Estner

@nikie Nếu bạn đặt bình luận của bạn làm câu trả lời, tôi sẽ chấp nhận nó. Tôi quan tâm đến phân đoạn vì các tính năng vùng chứa một số thông tin về chuyển đổi hình ảnh và có thể được sử dụng để đoán sự biến đổi giữa các hình ảnh. Tôi chắc chắn sẽ nghiên cứu bài báo về MSER.

— Libor

Tôi hiện đang làm việc trên CBIR bằng cách sử dụng Cây thành phần. Biểu diễn của Cây thành phần của hình ảnh sẽ không phụ thuộc quá nhiều vào biến dạng (thậm chí là chiếu) vào hình ảnh, các mức khác nhau sẽ cho phép so sánh và thao tác ở mức độ chi tiết khác nhau và sẽ hoạt động tốt hơn so với các kỹ thuật hiện tại trên hình ảnh có kết cấu thấp . Bây giờ nó chỉ là một chủ đề nghiên cứu, mới bắt đầu, nhưng hy vọng có một cái gì đó trong cách tiếp cận, nếu không tôi sẽ không được cấp để làm điều này. Nhưng, nếu ai đó đã làm một cái gì đó dọc theo những dòng này, có thể hữu ích.

— Penelope

@penelope Những tác phẩm này trên CBIR cũng có thể hữu ích cho việc ghép ảnh (sở thích cụ thể của tôi) trong đó chúng tôi đã thiết lập các hình ảnh có tính năng tương tự. Cách tiếp cận phổ biến hiện nay là tìm kiếm theo chiều cao trên các mô tả điểm (ví dụ SIFT), có thể dẫn đến kết quả khớp sai giữa các hình ảnh trong khi "vùng" hoặc "thành phần" thay vì các điểm có thể phân biệt được các điểm này. Bạn có bất kỳ tài liệu tham khảo cho các bài báo về đại diện hình ảnh thành phần cây? Cảm ơn nhiều.

— Libor

Câu trả lời:

MSER (Vùng cực hạn ổn định tối đa) là vùng, không phải điểm. Và chúng bất biến đối với sự biến đổi affine. Nhưng đó không phải là một phương pháp phân khúc, nói đúng ra

Nói một cách không chính thức, ý tưởng là tìm các đốm màu ở các ngưỡng khác nhau, sau đó chọn các đốm có ít thay đổi nhất về hình dạng / diện tích trong một phạm vi các ngưỡng. Các khu vực này phải ổn định cho một loạt các biến đổi thang độ xám và hình học.

— Niki Estner
nguồn

Tôi hiện đang làm việc trên CBIR bằng cách sử dụng Cây thành phần , đây là một ý tưởng tương đối mới. Một số lợi thế dự kiến của việc sử dụng Cây thành phần để mô tả hình ảnh sẽ là:

Biểu diễn Cây thành phần của một hình ảnh sẽ không phụ thuộc quá nhiều vào các biến dạng (thậm chí là chiếu) vào hình ảnh
Kiểm tra các cấp độ khác nhau của cây sẽ cho phép so sánh và vận hành đến một mức độ chi tiết khác nhau
Phân biệt đối xử và mô tả nên hoạt động tốt hơn so với các kỹ thuật hiện tại trên hình ảnh có kết cấu thấp.

Khi tôi mới bắt đầu với nghiên cứu liên quan đến chủ đề này, tôi chỉ có một ý tưởng mơ hồ về mục tiêu của mình: biểu diễn hình ảnh với Cây thành phần và sau đó so sánh các Cây thành phần đã nói, hoặc trực tiếp bằng cách tìm một đại diện được vector hóa. Tôi có thể sẽ có thể nói nhiều hơn trong một vài tuần (hoặc vài tháng), nhưng hiện tại tôi chỉ có thể cung cấp danh sách các giấy tờ được đề xuất cho tôi dưới dạng giới thiệu về Cây thành phần (tôi chưa đọc chúng):

Tôi có thể cập nhật câu trả lời và nếu tôi tìm thấy điều gì đó có liên quan.

Ngoài ra, nếu mục tiêu của bạn là, theo cách nào đó, khớp chính xác hơn các vùng hình ảnh thay vì chỉ các điểm , bởi vì các vùng có thể phân biệt đối xử hơn, có một gợi ý hay trong J. Sivic và A. Zisserman: "Video Google: Truy xuất văn bản Tiếp cận đối tượng phù hợp trong video " .

Tôi đang đề cập đến phần liên quan đến tính nhất quán không gian , trong đó một nhóm khớp giữa các điểm tính năng chỉ được chấp nhận nếu các điểm tính năng giữ cấu hình không gian tương tự trong cả hai hình ảnh. Do đó, kết hợp không chỉ phụ thuộc vào loại tính năng được trích xuất (DoG, MSER, ...) hoặc bộ mô tả (SIFT), mà còn xem xét môi trường xung quanh rộng hơn của một điểm tính năng, làm cho nó (ít nhất là một chút) khu vực phụ thuộc.

— dương vật
nguồn