Đường mòn phát hiện trong rừng


30

Có ai biết bất kỳ nghiên cứu / giấy tờ / phần mềm nào để xác định đường nhỏ (dưới dạng đường cong hoặc điểm-điểm) trong hình ảnh của một cảnh rừng (từ góc nhìn của máy ảnh đứng ở đâu đó dọc theo đường mòn) không?

Tôi đang cố gắng tìm một thuật toán có thể lấy một hình ảnh như:

văn bản thay thế

và sản xuất mặt nạ, xác định một "dấu vết" có khả năng, chẳng hạn như:

văn bản thay thế

Như bạn có thể thấy, hình ảnh ban đầu hơi mờ, đó là mục đích. Nguồn hình ảnh không thể đảm bảo lấy nét hoàn hảo, vì vậy tôi cần có khả năng xử lý độ nhiễu và độ mờ hợp lý.

Suy nghĩ đầu tiên của tôi là áp dụng hiệu ứng làm mờ Gaussian và phân chia hình ảnh thành các khối, so sánh các khối liền kề tìm kiếm sự khác biệt màu sắc sắc nét (biểu thị một "cạnh" đường mòn). Tuy nhiên, tôi nhanh chóng nhận ra rằng bóng tối và những thay đổi khác trong ánh sáng dễ dàng ném nó đi.

Tôi đã suy nghĩ về việc trích xuất các tính năng SURF, nhưng tôi chỉ thành công với SURF / SIFT khi hình ảnh hoàn toàn rõ ràng và có ánh sáng phù hợp.

Tôi cũng đã thử thu nhỏ hình ảnh và mặt nạ xuống kích thước nhỏ hơn nhiều (ví dụ 100x75), chuyển đổi chúng thành các vectơ 1xN và sử dụng chúng để huấn luyện mạng thần kinh dựa trên FANN (trong đó hình ảnh là đầu vào và mặt nạ là mong muốn đầu ra). Ngay cả ở kích thước nhỏ như vậy, với 1 lớp ẩn với 75% kích thước của vectơ đầu vào, phải mất 6 giờ để đào tạo và vẫn không thể dự đoán bất kỳ mặt nạ nào trong bộ thử nghiệm.

Bất cứ ai có thể đề nghị bất kỳ phương pháp hoặc giấy tờ khác về chủ đề này?


1
Bạn đã không đề cập bất cứ điều gì về nó, nhưng bạn có kiểm soát việc thu thập máy ảnh / hình ảnh không? Mọi người sử dụng chỉ số thực vật bằng cách sử dụng hình ảnh hồng ngoại gần trong tình huống tương tự (xem xét tính toán độ che phủ rừng từ vệ tinh). Nếu bạn có gần hồng ngoại, vấn đề là thẳng về phía trước để giải quyết.
carlosdc

Tôi làm, phần nào. Tôi đang chụp ảnh bằng máy ảnh một mắt giá rẻ (máy ảnh webcam / điện thoại di động), nhưng tôi không nghĩ họ lưu trữ hồng ngoại.
Cerin

Sử dụng nhiều bộ lọc màu có thể phân biệt giữa các quang phổ của thảm thực vật và bụi bẩn có thể sẽ rất hữu ích
endolith

Tôi tò mò nếu bạn đã thử một cách tiếp cận Bayes để đào tạo và phát hiện. Tôi đã có một câu trả lời mà tôi đã viết vài ngày trước, nhưng sau đó đã xóa nó vì tôi nghĩ bạn đã loại bỏ nó sau khi thử. Nếu bạn chưa xem xét lựa chọn đó, tôi rất vui lòng phục hồi nó.
Lorem Ipsum

@yoda, ý của bạn là gì khi tiếp cận Bayes? Tôi chỉ quen thuộc với Bayes khi áp dụng cho các mạng logic và phân loại rời rạc. Tôi không quen với việc áp dụng nó vào CV. Tôi không nhớ đã thấy bài viết nào của bạn.
Cerin

Câu trả lời:


13

Bản thân nó có thể không đủ, nhưng vì một trong những vấn đề liên quan đến các biến thể ánh sáng, bước xử lý trước loại bỏ bóng có thể giúp ích. Kỹ thuật tôi nghĩ đến được mô tả trong bài báo sau:

"Về việc loại bỏ bóng từ hình ảnh", GD Finlayson, SD Hordley, C. Lu và MS Drew, Phân tích mô hình IEEE và trí thông minh máy (PAMI), Vol.28, số 1, tháng 1, 2006, tr.59- 68. http://www.cs.sfu.ca/~mark/ftp/Pami06/pami06.pdf

Phần đầu tiên của quá trình tạo ra một hình ảnh thang độ xám bất biến chiếu sáng, có lẽ là những gì bạn muốn trong trường hợp này. Đây là một ví dụ về ví dụ họ đưa ra trong bài báo:

Loại bỏ bóng
(nguồn: datageist.com )

Trong thực tế, thực hiện quá trình một bước nữa để tạo ra hình ảnh "màu sắc" có thể là những gì bạn cần phân biệt rõ ràng giữa lá sống và lá chết. Một lần nữa, một ví dụ từ bài báo:

Độ màu
(nguồn: datageist.com )

Tuy nhiên, điểm thu hút là máy ảnh cần được hiệu chỉnh trước. Giả sử điều đó là có thể, một số kết hợp các biểu diễn mà họ mô tả có thể sẽ làm cho các phương pháp khác mà bạn sử dụng hiệu quả hơn.


12

Tôi không tin rằng bạn có đủ thông tin trong hình ảnh nguồn để tạo ra hình ảnh mặt nạ. Bạn có thể bắt đầu bằng cách phân đoạn theo màu sắc, tức là màu xanh lá cây không phải là đường mòn, màu xám / nâu là. Tuy nhiên, có các vùng màu xám / nâu trên "đường viền" không được thể hiện trong mặt nạ của bạn. (Xem góc phần tư phía dưới bên trái của hình ảnh nguồn của bạn.)

Mặt nạ bạn cung cấp ngụ ý các ràng buộc về cấu trúc không rõ ràng trong hình ảnh nguồn: ví dụ: có thể các vệt của bạn có chiều rộng cố định - sau đó bạn có thể sử dụng thông tin đó để hạn chế mặt nạ sơ bộ được nhận dạng mẫu của bạn trả về.

Tiếp tục chủ đề về cấu trúc: Con đường mòn có hợp nhất với người khác không? Là những con đường mòn được phác họa với các tính năng đất / sỏi nhất định? Là một con người (khá hợp lý trong việc nhận dạng mẫu!), Tôi bị thách thức bởi các tính năng hiển thị ở góc phần tư phía dưới bên trái: Tôi thấy các vùng màu xám / nâu mà tôi không thể giảm giá là "đường mòn". Có lẽ tôi có thể làm như vậy một cách thuyết phục nếu tôi có thêm thông tin: bản đồ và địa điểm được biết đến thô sơ, trải nghiệm cá nhân trên con đường này hoặc có lẽ là một chuỗi các hình ảnh dẫn đến điểm này - có lẽ quan điểm này không quá mơ hồ nếu người nhận biết "biết "Điều gì dẫn đến cảnh này.

Một bộ sưu tập hình ảnh là cách tiếp cận thú vị nhất theo ý kiến ​​của tôi. Tiếp tục dòng suy nghĩ đó: một hình ảnh có thể không cung cấp đủ dữ liệu, nhưng chế độ xem toàn cảnh có thể làm phân tán cảnh.


Vâng, những con đường mòn hợp nhất với những người khác. Và đúng vậy, những con đường mòn được phân định bởi các đặc điểm đất / sỏi trong đó các đặc điểm đó phải khác biệt với các khu vực không có đường mòn. Tôi đồng ý rằng hình ảnh có thể là một thách thức trong một số phần, nhưng tôi vẫn nghĩ rằng có đủ thông tin để đưa ra dự đoán khá chính xác về vị trí của đường mòn. Mặc dù bạn không quen với con đường này, nhưng có vẻ như bạn không có vấn đề gì với nó (ngoại trừ khu vực phía dưới bên trái, có thể hiểu được).

Quả thực tôi có thể đoán khá tốt là ranh giới của con đường mòn. Nhưng, tôi e rằng tôi đang dựa vào nhiều thông tin hơn là được trình bày trong hình ảnh nguồn. Tôi "biết" đường mòn là gì - có lẽ là do tôi đã xây dựng mô hình hoặc mẫu của các tính năng nổi bật bao gồm đường mòn: thông qua trải nghiệm trực tiếp hoặc nhìn thấy các đường mòn được xác định rõ trong hình ảnh, v.v. Để tóm tắt: trong việc nhận ra đường mòn trong hình ảnh nguồn, tôi đang vẽ nhiều hơn những gì tôi quan sát được trong hình ảnh nguồn.

Có một số đặc điểm của đường mòn mà hệ thống tầm nhìn có thể khai thác: có lẽ chúng ta có thể giả sử đường mòn thể hiện không gian tự do, có thể điều hướng. Do đó, các đặc điểm của cây, bụi cây và đá có thể được phân loại là "không phải đường mòn". Có lẽ một phân tích kết cấu có thể giúp làm sáng tỏ những điều này? Mặc dù vậy, tôi không chắc chắn: mặt đất dưới những tán cây (từ giữa đến trên bên trái) trông khá giống với đường mòn.

Ý tưởng đầu tiên của tôi sẽ là đề cập đến các biến đổi LU hoặc Eigen mang lại phản hồi cao khi kết cấu rất thô. Tuy nhiên, ở đây tính năng phân biệt chính giữa đường mòn / không đường mòn dường như là màu sắc. Vì vậy, có thể chuyển đổi nó thành không gian màu HSV và tạo mặt nạ từ các pixel có màu 'đất' - màu nâu hoặc màu nâu đất - sẽ đưa ra ước tính sơ bộ.
AruniRC

12

Không có thuật toán duy nhất nào có thể phát hiện các vệt trong một hình ảnh ngẫu nhiên một cách kỳ diệu. Bạn sẽ cần phải thực hiện thói quen dựa trên máy học và "huấn luyện" nó để phát hiện ra những con đường mòn. Không đi sâu vào quá nhiều chi tiết, đây là một phác thảo sơ bộ về những gì bạn sẽ làm trong phương pháp học tập có giám sát.

  1. Bạn sẽ cần một bộ "ví dụ đào tạo", trong đó ý tôi là một vài hình ảnh về những con đường mòn trong các môi trường khác nhau, trong đó bạn (người giám sát) đã gắn nhãn những gì được coi là "đường mòn" và "khu rừng" là gì. Bạn chia hình ảnh thành các phần nhỏ hơn (thường là 8x8) và chuyển đổi nó thành "không gian đặc trưng" bằng cách lấy DCT (biến đổi cosine rời rạc) của các khối. DCT của mỗi khối trong trường hợp này cung cấp cho bạn "vectơ đặc trưng" 64 điểm.
  2. XxYy1= =trmộttôitôiy2= =foreSt

    • các lớp phân phối có điều kiện
      • PX|Y(x|trmộttôitôi)trmộttôitôi
      • PX|Y(x|foreSt)foreSt
    • xác suất của lớp hoặc trước
      • PY(trmộttôitôi)trmộttôitôi
      • PY(foreSt)foreSt
  3. Với điều này, bạn kiểm tra hình ảnh của mình (một lần nữa, chia nó thành các mảnh nhỏ hơn) và tính xác suất sau. Sử dụng lý thuyết quyết định của Bayes, bạn sẽ xác định tiêu chí lựa chọn nhị phân (trong trường hợp này) của mình giống như

    y~tôi(x)= =tranh luậntối đaytôiPX|Y(x|ytôi) PY(ytôi)

Lưu ý rằng đây là một tổng quan rất đơn giản về phương pháp này. Có một số điều cần xem xét và điều quan trọng nhất trong số đó là chọn bộ tính năng phù hợp cho vấn đề của bạn. Bạn cũng có thể thực hiện những việc phức tạp hơn như sử dụng mô hình hỗn hợp và ước tính mật độ dựa trên nhân, nhưng tất cả những điều đó quá chi tiết và tốn thời gian để viết trong câu trả lời.

Để có động lực và xác nhận rằng phương pháp này đáng để thử, đây là một ví dụ từ một việc tôi đã làm từ lâu như một bài tập về nhà, rất giống với những gì bạn đang cố gắng đạt được. Mục tiêu là phát hiện động vật từ thảm thực vật nền (ảnh trái). Hình bên phải hiển thị mặt nạ nhị phân thu được sau khi "học" để phân biệt giữa nền trước và nền.

nhập mô tả hình ảnh ở đây nhập mô tả hình ảnh ở đây

Để tìm hiểu thêm về học máy, bạn có thể muốn xem một vài cuốn sách văn bản. Một trong những sách giáo khoa nổi tiếng và thường được đề xuất trong lĩnh vực này là:

T. Hastie, R. Tibshirani và J. Friedman, Các yếu tố của học thống kê: Khai thác dữ liệu, suy luận và dự đoán. Tái bản lần 2, Springer-Verlag (2008)

hiện có sẵn dưới dạng PDF miễn phí tại liên kết được cung cấp. Một cuốn sách hay khác là:

RO Duda, PE Hart và DG Stork, Phân loại mẫu , Ed 2, John Wiley & Sons (2001)


1
Về lưu ý đó, tôi muốn chỉ ra ml- class.org , một bài giới thiệu tuyệt vời về học máy.
bjoernz

Phương pháp thú vị. Tuy nhiên, khi bạn nói Py (đường mòn) và Py (rừng) là "xác suất tìm thấy dấu vết trong toàn bộ bức tranh", bạn có nghĩa là xác suất tìm thấy chúng trong một khối 8x8 hoặc toàn bộ hình ảnh? Nếu toàn bộ hình ảnh, tôi tưởng tượng cả hai hình ảnh này sẽ là 100%, vì tất cả các hình ảnh đào tạo sẽ có cả hai hình ảnh này ở đâu đó.
Cerin

@Cerin: Xin lỗi, bởi Py (trail), ý tôi là xác suất tìm thấy nó trong một khối. Vì vậy, đó sẽ là tổng số tất cả các khối có dấu vết theo tổng số khối trong toàn bộ hình ảnh. Tôi đã chỉnh sửa nó để sửa nó
Lorem Ipsum

Làm thế nào bạn sẽ xác định không gian tính năng X? Bạn có sử dụng cái gì đó như phân cụm K-Means để giảm tính chiều của các vectơ đặc trưng 64 điểm thành thứ gì đó giống như 10 tính năng không?
Cerin

@Cerin Có, K-nghĩa là một trong những cách tiếp cận phổ biến để giảm tính chiều.
Lorem Ipsum


5

Có vẻ như một vấn đề đối với phân đoạn kết cấu (không phải là phân đoạn màu) Có rất nhiều phương pháp,

họ thường sử dụng các bước sóng Gabor, như thế này http://note.sonots.com/SciSoftware/GaborTextureSeg sắc.html

Phân đoạn dựa trên Superpixels http://ttic.uchicago.edu/~xren/research/superpixel/

và phân đoạn cắt đồ thị tương tự http://en.wikipedia.org/wiki/Graph_cuts_in_computer_vision

đây là tổng quan về wiki http://en.wikipedia.org/wiki/Seg sắc_(image_ Processing)


phân khúc kết cấu gabor có vẻ là tốt đẹp!
nkint
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.