Tôi không biết Google sử dụng thuật toán nào. Nhưng, vì bạn muốn có một phỏng đoán tốt nhất, hãy để tôi đưa ra một số ý tưởng về cách một hệ thống tương tự có thể được xây dựng .
Toàn bộ lĩnh vực liên quan đến tìm kiếm hình ảnh-cơ sở theo hình ảnh được gọi là Truy xuất hình ảnh dựa trên nội dung (CBIR) . Ý tưởng là, bằng cách nào đó, xây dựng một đại diện hình ảnh (không nhất thiết phải hiểu bởi con người) có chứa thông tin về nội dung hình ảnh .
Hai cách tiếp cận cơ bản tồn tại:
- truy xuất bằng các tính năng cấp thấp (cục bộ): màu sắc, kết cấu, hình dạng tại các phần cụ thể của hình ảnh (hình ảnh là tập hợp các mô tả của các tính năng cục bộ )
- phương pháp tiếp cận ngữ nghĩa trong đó một hình ảnh, theo một cách nào đó, được thể hiện như một tập hợp các đối tượng và quan hệ của chúng
Phương pháp địa phương cấp thấp được nghiên cứu rất tốt. Cách tiếp cận tốt nhất hiện nay trích xuất các tính năng cục bộ (có một sự lựa chọn thuật toán trích xuất tính năng liên quan ở đây) và sử dụng các mô tả cục bộ của chúng (một lần nữa, lựa chọn mô tả) để so sánh các hình ảnh.
Trong các tác phẩm mới hơn, các mô tả cục bộ được phân cụm trước và sau đó các cụm được coi là các từ trực quan - kỹ thuật này rất giống với tìm kiếm tài liệu của Google, nhưng sử dụng các từ trực quan thay vì các từ chữ.
Bạn có thể nghĩ các từ trực quan là tương đương với các từ gốc trong ngôn ngữ: ví dụ: các từ: làm việc, làm việc, làm việc đều thuộc về cùng một từ gốc.
Một trong những nhược điểm của các loại phương pháp này là chúng thường hoạt động kém trên các hình ảnh có kết cấu thấp.
Tôi đã đưa ra và thấy rất nhiều câu trả lời chi tiết các cách tiếp cận này, vì vậy tôi sẽ chỉ cung cấp liên kết đến những câu trả lời đó:
- CBIR: 1 , 2
- trích xuất / mô tả tính năng: 1 , 2 , 3 , 4
Các cách tiếp cận ngữ nghĩa thường dựa trên các biểu diễn phân cấp của toàn bộ hình ảnh. Những cách tiếp cận này vẫn chưa được hoàn thiện, đặc biệt là đối với các loại hình ảnh chung. Có một số thành công trong việc áp dụng các loại kỹ thuật này cho các miền hình ảnh cụ thể.
Vì hiện tại tôi đang ở giữa nghiên cứu các phương pháp này, tôi không thể đưa ra kết luận nào. Bây giờ, điều đó nói rằng, tôi đã giải thích một ý tưởng chung đằng sau những kỹ thuật này trong câu trả lời này .
Một lần nữa, một thời gian ngắn: ý tưởng chung là đại diện cho một hình ảnh với cấu trúc hình cây, trong đó các lá chứa các chi tiết hình ảnh và các đối tượng có thể được tìm thấy trong các nút gần gốc của những cây đó. Sau đó, bằng cách nào đó, bạn so sánh các cây con để xác định các đối tượng có trong các hình ảnh khác nhau.
Dưới đây là một số tài liệu tham khảo cho các đại diện cây khác nhau. Tôi đã không đọc tất cả trong số họ, và một số trong số họ sử dụng loại đại diện này để phân khúc thay vì CBIR, nhưng vẫn ở đây:
- cây phân vùng nhị phân và đề cập đến cây tối thiểu / tối đa: P. Salembier, MHF Wilkinson: Toán tử được kết nối
- cây phân vùng nhị phân: V. Vilaplana, F. Marques, P. Selembier: Cây phân vùng nhị phân để phát hiện đối tượng
- cây hình dạng (cây thành phần): P. Monasse, F. Guichard: Tính toán nhanh về biểu diễn hình ảnh tương phản, bất biến , C. Ballester, V. Castellis, P. Monasse: Cây hình dạng của một hình ảnh
- cây đơn điệu: Y. Song, A. Zhang: Phân tích hình ảnh phong cảnh bằng cây đơn điệu
- chỉnh sửa: đào thêm cho thấy cây có hình dạng và cây đơn điệu là tương đương , ngoại trừ xử lý hình ảnh trong 4- / 8- (cây hình dạng) hoặc 6 kết nối (đơn điệu)
- cây đầu nguồn cực lớn: A. Vichik, R. Keshet, D. Malah: Hình thái tự kép trên bán kết và ứng dụng của cây
- kết nối bị hạn chế, cây alpha, vùng nước siêu ma trận: P. Soille, L. Najman: Về biểu diễn phân cấp hình thái để xử lý hình ảnh và phân cụm dữ liệu không gian