Phát hiện một vật thể thủy tinh đầy

Tôi đã được gửi đến đây từ câu hỏi này trong stackoverflow , xin vui lòng cho tôi biết nếu câu hỏi quá cụ thể và nó không có trong cách cư xử ở đây :)

Nhiệm vụ là tìm một chiếc cốc có chất lỏng cụ thể trong đó. Hãy để tôi cho bạn xem những bức ảnh và sau đó mô tả những gì tôi đang cố gắng đạt được và cách tôi đã cố gắng đạt được cho đến nay trong phần mô tả bên dưới những bức tranh.

Các hình ảnh : (dường như tôi cần ít nhất 10 danh tiếng để đăng ảnh và liên kết, vì vậy các liên kết sẽ phải làm :( nếu không bạn có thể xem câu hỏi tràn ngăn xếp)

Mô tả chi tiết : Tôi đã cố gắng thực hiện một thuật toán sẽ phát hiện ra một tấm kính có hình dạng cụ thể trong opencv (kính có thể được biến đổi bởi một góc / khoảng cách chụp của máy ảnh khác). Cũng sẽ có những chiếc kính khác có hình dạng khác. Chiếc kính mà tôi đang tìm kiếm cũng sẽ chứa đầy một số chất lỏng màu sẽ phân biệt nó với những chiếc kính có chứa các màu khác.

Cho đến nay, tôi đã thử sử dụng trình trích xuất tính năng SIFT để cố gắng tìm một số tính năng trong kính và sau đó ghép chúng với các ảnh khác với kính trong đó.

Cách tiếp cận này chỉ hoạt động trong các điều kiện rất cụ thể trong đó tôi sẽ có kính ở một vị trí rất cụ thể và nền sẽ tương tự như các hình ảnh học tập. Vấn đề cũng là kính là một vật thể 3d và tôi không biết cách trích xuất các tính năng từ đó (có thể nhiều ảnh từ các góc khác nhau được liên kết - bằng cách nào đó?).

Bây giờ tôi không biết những cách tiếp cận khác tôi có thể sử dụng. Tôi đã tìm thấy một số manh mối về điều này (ở đây /programming/10168686/alacticm-improference-for-coca-cola-can-shape-recognition#answer-10219338 ) nhưng các liên kết dường như bị phá vỡ.

Một vấn đề khác là phát hiện "mức độ trống rỗng" khác nhau trong kính như vậy, nhưng tôi thậm chí còn không thể tìm thấy kính đúng cách.

Điều gì sẽ được đề xuất của bạn về cách tiếp cận trong nhiệm vụ này? Sẽ tốt hơn nếu sử dụng một cách khác để tìm tính năng đối tượng 3d cục bộ? Hoặc sẽ tốt hơn nếu sử dụng phương pháp khác hoàn toàn? Tôi đã nghe nói về các thuật toán "học" đối tượng từ một bộ nhiều ảnh nhưng tôi chưa bao giờ thấy điều này trong thực tế.

Bất kỳ lời khuyên sẽ được thực sự đánh giá cao

Bài viết được tham chiếu trong liên kết của bạn dường như là cái này.

Quan tâm đặc biệt có Bảng 1 (bao gồm bên dưới). Tỷ lệ chính xác không lớn, mặc dù chúng tốt hơn các phương pháp khác.

Có lẽ bài viết này có thể giúp bạn: http://ai.stanford.edu/~ang/ con / iros09-CalableLearningObjectDetectionGPU.pdf

Mặc dù họ sử dụng hệ thống âm thanh nổi tích cực cùng với hình ảnh 2D để thu được hình ảnh có chiều sâu, nhưng thật thú vị khi họ sử dụng các tính năng dựa trên bản vá, xây dựng một từ điển của đối tượng với nhiều đoạn nhỏ và sau đó đào tạo một trình phân loại. Có lẽ bạn có thể thêm các tính năng này để cải thiện tỷ lệ phát hiện của bạn.

Đã có nhiều công việc được thực hiện về điều này khi nói đến phần mềm nhận dạng khuôn mặt. Ví dụ: nếu bạn chú ý trên Facebook khi gắn thẻ ảnh, vị trí của các khuôn mặt được đóng hộp và gợi ý cho bạn.

Tôi đã thấy rất nhiều tài liệu về nhận dạng khuôn mặt trong hình ảnh bằng cách sử dụng mạng thần kinh và một tìm kiếm nhanh trên Google chắc chắn sẽ đưa ra một lượng lớn thông tin về chủ đề này. Các mạng này lấy các pixel của hình ảnh làm đầu vào. Trong trường hợp của bạn, cách độ mờ đục thay đổi / ánh sáng phản chiếu khỏi kính có thể là những đặc điểm nhận dạng tốt mà mạng sẽ học.

Một vấn đề có thể là số lượng ảnh bạn phải sử dụng làm dữ liệu huấn luyện và xử lý trước những ảnh này (tức là tự xác định khuôn mặt). Nếu không thể thực hiện điều này để có đủ hình ảnh để đào tạo mạng của bạn đủ tốt thì bạn sẽ phải tìm một số phím tắt trong giai đoạn học tập. Bài viết này có liên quan đến những gì bạn muốn làm: http://www.ll.mit.edu/publications/journal/pdf/vol04_no2/4.2.5.neuralnetwork.pdf

May mắn thay, đây là một lĩnh vực rất tích cực và phần lớn mã cần thiết cho loại vấn đề này có sẵn trực tuyến.

Khi bạn có thể xác định kính trong ảnh, bạn có thể thực hiện phân tích thêm từ đó.