Xử lý ảnh trước khi phát hiện tính năng


9

Tôi đã thực hiện một trình phát hiện tính năng dựa trên các góc Harris . Nó hoạt động tốt hầu hết thời gian, nhưng có những trường hợp nó hoạt động kém. Tôi cần phải làm cho nó hoạt động trên nhiều hình ảnh khác nhau mà không cần cấu hình riêng lẻ.

Vấn đề là với giá trị ngưỡng phát hiện. Nếu được đặt quá thấp, máy dò sẽ bắn quá nhiều lần dẫn đến số lượng lớn các tính năng. Nếu đặt quá cao, có quá ít tính năng.

Tôi đã giải quyết một phần điều này bằng ANMS ( Loại bỏ tối đa không thích ứng) để giảm số lượng các tính năng trước khi gán các vectơ mô tả cho chúng.

Tuy nhiên, hình ảnh như thế này là vấn đề:

nhập mô tả hình ảnh ở đây

Chúng có độ tương phản thấp và tôi không thể "đủ khả năng" cài đặt ngưỡng quá thấp cho tất cả các hình ảnh. Nó sẽ khiến máy dò hoạt động trên những hình ảnh này, nhưng những hình ảnh khác sẽ chứa hàng ngàn tính năng, sẽ chậm lọc với ANMS và điều này sẽ gây hại cho hiệu suất tổng thể.

Tôi đã suy nghĩ về việc điều chỉnh hình ảnh trước khi phát hiện tính năng. Có lẽ cân bằng biểu đồ sẽ làm công việc. Đây có thể là một hoạt động hợp lệ vì sự thay đổi độ tương phản toàn cầu không ảnh hưởng đến các mô tả tính năng (chúng là bất biến để thay đổi độ sáng và độ tương phản).

Có thể làm việc với ngưỡng thích ứng hoặc một số heuristic sẽ hoạt động tốt hơn.

Bất cứ một đề nghị nào khác?


@Seyhmus Güngören: Ồ. Tôi đã chấp nhận các câu trả lời tôi nhận được cho đến nay kể từ khi tôi tìm thấy giải pháp đủ thỏa đáng, nhưng vẫn đang chờ câu trả lời tốt hơn hoặc công phu hơn.
Libor

@Libor Rất tốt cho các câu hỏi mới của bạn vì nó có thể hấp dẫn hơn để giải quyết các câu hỏi của bạn trong trường hợp hiện tại.
Seyhmus Güngören

@Libor bạn có xem xét kết hợp biểu đồ chọn một biểu đồ giống như biểu đồ gaussian có ý nghĩa khoảng 128 không?
Seyhmus Güngören

@ SeyhmusGüngören Có tôi đã suy nghĩ về điều này. Tôi có thể sẽ thử điều đó với một vài ý tưởng khác.
Libor

@Libro Bạn có thể vui lòng cho biết cách bạn dự định sử dụng các tính năng được phát hiện không? Ý tưởng duy nhất của tôi là truy xuất hoặc kết hợp hình ảnh dựa trên nội dung (ví dụ: để ước tính nội dung ), nhưng vì đó là điều duy nhất tôi từng làm với chúng nên tôi có thể sai :) Mặt khác, đó là những gì bạn dự định sử dụng Họ cho, tôi có thể đóng góp.
Penelope

Câu trả lời:


1

Một khả năng sẽ là thực hiện phát hiện cạnh đơn giản (như Laplace) và sử dụng cường độ trung bình của kết quả làm cơ sở cho ngưỡng cho các góc Harris. Khi bạn có độ tương phản thấp, bạn sẽ nhận được ít cạnh hơn và với cường độ thấp hơn, với độ tương phản cao, bạn sẽ có được nhiều cạnh hơn và với cường độ cao hơn.

Bạn không phải là người duy nhất đấu tranh với vấn đề này. Nếu bạn có quyền truy cập vào cơ sở dữ liệu giấy, điều này có thể thú vị:

Có thể đáng để tìm kiếm phát hiện góc harris thích ứng (tự động) hơn.


Đó không phải là một mâu thuẫn. Máy dò có hai giai đoạn: 1) tính năng phát hiện, 2) mô tả tính năng. Việc cân bằng biểu đồ sẽ có hiệu lực ở giai đoạn 1 (phát hiện nhiều tính năng hơn), không phải ở giai đoạn 2. Tôi cần một lượng tính năng vừa phải để được phát hiện, vì vậy chúng không cần phải lọc nhiều.
Libor

Ok, tôi nghĩ về điều này, nhưng nó không hoàn toàn rõ ràng từ câu hỏi của bạn. Tôi không có ý sử dụng hình ảnh cạnh làm đầu vào cho trình phát hiện tính năng, mà là thước đo của riêng bạn về giá trị của ngưỡng nên là gì.
Geerten

Cảm ơn, đó là một suy nghĩ thú vị. Máy dò góc Harris sử dụng các hình ảnh phái sinh (dx, dy, dxy) để xây dựng số đo góc tại mỗi điểm. Vì điều này đã được dựa trên các biện pháp cạnh, bây giờ tôi đang suy nghĩ về việc lấy biểu đồ của hàm phản ứng góc và ngưỡng tính toán của biểu đồ đó. Bạn đã truyền cảm hứng cho tôi, cảm ơn :)
Libor

Tôi rất vui vì tôi có thể truyền cảm hứng cho bạn;) Đã thêm một bài báo có thể hữu ích.
Geerten

2

Bạn có thực sự phải sử dụng góc Harris? Có nhiều tính năng được phát triển sau góc Harris, với các thuộc tính tốt hơn. Một tổng quan tốt có thể được tìm thấy trong bài viết này:

Dựa trên bài viết đó cũng như kinh nghiệm cá nhân của tôi, tôi sẽ đề nghị chuyển sang MSER (Khu vực ngoại sinh ổn định tối đa) hoặc thậm chí kết hợp chúng với DoG (Sự khác biệt của Gaussian) - các tính năng lần đầu tiên được trình bày như một phần của đường ống SIFT.

Nếu vấn đề thực sự ở độ tương phản thấp , thì các tính năng MSER sẽ thực sự khiến bạn hài lòng: chúng (khá) bất biến đối với những thay đổi trong ánh sáng. Nói tóm lại, chúng là các vùng được kết nối của hình ảnh ổn định thông qua một loạt các nhị phân ngưỡng khác nhau.

Quá trình trích xuất tính năng độc lập với việc tính toán các mô tả, do đó, không quá khó để tích hợp các cách trích xuất tính năng mới vào quy trình của bạn.

Ngoài ra, tôi đã nghe nói về (nhưng chưa bao giờ thực sự làm việc với) các góc Harris đa dạng như một phần mở rộng cho các góc Harris. Tôi không biết nhiều về họ và cá nhân tôi không thể đề xuất bất kỳ tài liệu đọc nào về chủ đề này, vì vậy tôi rời khỏi tìm kiếm bài viết và chọn các tài liệu thú vị nhất cho bạn.


Hơn nữa, tôi có thể đề xuất rằng hình ảnh bạn đăng có thể có vấn đề khác ngoài độ tương phản thấp . Theo kinh nghiệm cá nhân của tôi, thảm thực vật như bụi rậm hoặc có thể là lĩnh vực bạn có, cũng như những đám mây sủi bọt đáng yêu có xu hướng tạo ra "đặc điểm chung" - những đặc điểm có xu hướng mô tả tương tự (hoặc không giống nhau) như nhiều đặc điểm khác.

Trên thực tế, điều này có nghĩa là khi thực hiện khớp tính năng trên hai hình ảnh từ một góc nhìn khác, các tính năng được trích xuất từ ​​các loại bề mặt này có xu hướng bị khớp sai. Tôi đã thực hiện một luận án thạc sĩ rằng trong một phần lớn liên quan đến trích xuất tính năng sẽ được sử dụng trong tính năng khớp với tính năng tiếp tục được sử dụng để tính toán chuyển đổi đồng nhất giữa hai hình ảnh khi tôi gặp vấn đề này. Tôi đã không tìm thấy bất kỳ bài viết nào khác mô tả vấn đề này vào thời điểm đó, nhưng luận án của tôi có thể hữu ích cho cách tiếp cận tổng thể của bạn.

Cuối cùng, như bạn đã thiết lập, các ngưỡng và kỹ thuật hoạt động tốt trên hầu hết các hình ảnh trích xuất thành các tính năng nhỏ trong loại hình ảnh này, bởi vì các khu vực chủ yếu là đồng nhất của nó. Loại hình ảnh này có vấn đề trong việc khớp tính năng (có thể được mở rộng để ghép hình ảnh), truy xuất hình ảnh dựa trên nội dung và tôi sẽ cho rằng theo dõi cũng như các ứng dụng tương tự. Không có phương pháp nào hiện đang hoạt động khá tốt trên chúng.

Các phương pháp hoạt động tốt trên loại hình ảnh này cũng như các trường hợp điển hình đang được khám phá và nghiên cứu hiện nay, chẳng hạn như một phương pháp tôi bắt đầu thực hiện mô tả ngắn gọn trong câu trả lời này .


Cảm ơn câu trả lời chi tiết, tôi sẽ xem qua các giấy tờ khi có thời gian rảnh. Tôi đã thực hiện một trình phát hiện tính năng phải đối mặt với hai vấn đề: sự phức tạp của việc thực hiện và các vấn đề bằng sáng chế. Ứng dụng của tôi là một thư viện ghép và ghép hình ảnh thương mại và vì vậy tôi có nguồn lực và thời gian hạn chế để thực hiện và không đủ khả năng trả tiền cho SIFT hoặc SURF. Tôi có thể sẽ chuyển sang MSER hoặc bộ phát hiện / mô tả nâng cao khác, nhưng cho đến nay các góc Harris hoạt động tốt, ngoại trừ hình ảnh có ánh sáng xấu.
Libor

@Libor Đó là vẻ đẹp của nó: Bạn không cần phải chuyển đổi. Bạn chỉ có thể thêm các tính năng mới vào đường dẫn phát hiện hiện tại-> mô tả. Cho dù các tính năng được trích xuất như thế nào, bạn luôn có thể tính toán mô tả của chúng với cùng một chiến thuật. Trong tất cả những thứ tôi đã viết, có lẽ bài báo đầu tiên được đề cập so sánh các tùy chọn khác nhau để phát hiện / mô tả có thể chứng minh là hữu ích nhất.
Penelope

Tôi đã sử dụng tập hợp các mô tả lớn và sau đó sử dụng PCA để cải thiện tốc độ và sức mạnh phân biệt đối xử của các mô tả. PCA, tuy nhiên, khá tốn kém cho các bộ dữ liệu lớn. Công việc này thu hút tôi vì sự tăng cường chung của các mô tả. Cho đến nay, tất cả những gì tôi sử dụng là "Từ chối không gian ngoại lệ tính năng", chỉ đơn giản là ngưỡng trên các đối sánh tính năng dựa trên khoảng cách 1-nn / 2-nn. Điều này được D. Lowe mô tả trong các bài báo của mình và có khả năng phân biệt đối xử rất tốt vì nó khai thác thuộc tính vỏ của khoảng cách trong không gian mờ cao.
Libor

Đối với các máy dò, sự thay đổi quan điểm lớn và bất biến tỷ lệ không phải là vấn đề, vì với ghép ảnh (ảnh toàn cảnh, kính hiển vi), độ phóng đại thường được giữ không thay đổi và biến dạng affine hoặc chiếu là khá nhỏ giữa các hình ảnh phù hợp. Vấn đề chính là thực sự quá ít hoặc quá nhiều tính năng được phát hiện và mô tả kém.
Libor

Cá nhân tôi không biết nhiều về sự lựa chọn mô tả, tôi chỉ làm việc với SIFT. Nhưng liên kết bạn cung cấp đã đề cập rằng chúng tương tự như mô tả DAISY, mà tôi cũng nhớ được đánh giá là rất tốt. Kết hợp nhiều trình trích xuất tính năng hy vọng sẽ cung cấp cho bạn nhiều tính năng hơn và tính bất biến tỷ lệ chỉ có thể là một điểm cộng, ngay cả khi bạn không cần nó. Tôi đọc một số tác phẩm đề cập rằng làm việc với nhiều trình trích xuất tính năng làm tăng khả năng phân biệt đối xử (tôi có thể tra cứu các liên kết nếu bạn muốn).
Penelope
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.