Các mạng Hopfield có thể lưu trữ một vectơ và lấy nó bắt đầu từ một phiên bản ồn ào của nó. Họ làm như vậy để thiết lập các trọng số để giảm thiểu hàm năng lượng khi tất cả các nơ-ron được đặt bằng với các giá trị vectơ và lấy vectơ bằng cách sử dụng phiên bản nhiễu của nó làm đầu vào và cho phép mạng ổn định ở mức tối thiểu năng lượng.
Bỏ qua các vấn đề như thực tế là không có gì đảm bảo rằng mạng sẽ giải quyết ở mức tối thiểu gần nhất, v.v. - các vấn đề cuối cùng đã được giải quyết với các máy Boltzmann và cuối cùng với sự lan truyền ngược - bước đột phá là chúng là điểm khởi đầu để có các biểu diễn trừu tượng. Hai phiên bản của cùng một tài liệu sẽ gọi lại cùng một trạng thái, chúng sẽ được thể hiện trong mạng, bởi cùng một trạng thái.
Như chính Hopfield đã viết trong bài báo Mạng lưới thần kinh và hệ thống vật lý năm 1982 với khả năng tính toán tập thể mới nổi
Mô hình hiện tại sau đó có thể liên quan đến cách một thực thể hoặc Gestalt được ghi nhớ hoặc phân loại trên cơ sở các đầu vào đại diện cho một bộ sưu tập các tính năng của nó.
Mặt khác, bước đột phá của học sâu là khả năng xây dựng nhiều biểu diễn phân cấp, phân cấp của đầu vào, cuối cùng dẫn đến việc làm cho cuộc sống của các học viên AI dễ dàng hơn, đơn giản hóa kỹ thuật tính năng. (xem ví dụ: Học đại diện: Đánh giá và quan điểm mới , Bengio, Courville, Vincent).
Từ quan điểm khái niệm, tôi tin rằng người ta có thể thấy học tập sâu như một sự khái quát hóa của mạng Hopfield: từ một đại diện duy nhất đến một hệ thống phân cấp.
Điều đó có đúng theo quan điểm tính toán / tô pô không? Không xem xét các mạng Hopfield "đơn giản" như thế nào (nơ-ron 2 trạng thái, không bị ngăn chặn, chức năng năng lượng), người ta có thể xem mỗi lớp của mạng là mạng Hopfield và toàn bộ quá trình như một trích xuất tuần tự của Gestalt được ghi nhớ trước đó và sắp xếp lại những Gestalt này?