Các mạng thần kinh có sử dụng mã hóa hiệu quả?

Câu hỏi của tôi liên quan đến mối quan hệ giữa giả thuyết mã hóa hiệu quả được nêu trên trang Wikipedia về thuật toán học mã hóa hiệu quả và mạng thần kinh.

Mối quan hệ giữa giả thuyết mã hóa hiệu quả và mạng lưới thần kinh là gì?

Có mô hình mạng thần kinh nào được truyền cảm hứng rõ ràng bởi giả thuyết mã hóa hiệu quả không?

Hoặc sẽ công bằng hơn khi nói rằng tất cả các thuật toán học tập mạng thần kinh ít nhất là hoàn toàn dựa trên mã hóa hiệu quả?

neural-networks information-theory

— Mike New Zealand
nguồn

Có lẽ các autoencoder thưa thớt là những gì bạn đang theo đuổi? (Nếu sở thích của bạn ít kỹ thuật hơn và rộng hơn / triết lý hơn, đề xuất của người dùng kenorb có thể phù hợp.)

— GeoMatt22

Câu hỏi thú vị. Tôi đoán là NN không ở đâu gần với những gì chúng ta có thể xem là hiệu quả. Tôi nghĩ các kỹ thuật thường được sử dụng như Dropout thực sự sẽ tìm cách giảm hiệu quả mã hóa.

— kbrose

Một tài liệu tham khảo khác: Giả thuyết vé xổ số, arxiv.org/abs/1803.03635 bài báo nói về việc tìm kiếm các mạng con làm việc chăm chỉ nhưng tôi nghĩ có thể có kết nối với mã hóa hiệu quả

— kbrose

Tôi không phải là chuyên gia về lý thuyết thông tin, nhưng tôi không tin rằng có bất kỳ mối quan hệ nào giữa mã hóa hiệu quả những gì NN làm, tôi cũng không biết về bất kỳ nỗ lực lịch sử hay hiện tại nào để kết hợp mã hóa hiệu quả. Tuy nhiên, có thể đúng là NN thực hiện mã hóa tín hiệu một cách hiệu quả: arxiv.org/abs/1503.02406

— Shadowtalker

Tôi chưa có đủ (chưa) để đưa ra câu trả lời này, nhưng dường như điều này liên quan đến câu hỏi liệu NN có thực sự chỉ ghi nhớ, thay vì học.

— Bill Clark

Tôi tin rằng người ta có thể lập luận rằng một kết nối đã được thực hiện. Tôi sẽ xin lỗi vì đã không đăng nguồn của mình vì tôi không thể tìm thấy nó, nhưng điều này đến từ một slide cũ mà Hinton đã trình bày. Trong đó, ông tuyên bố rằng một trong những cách suy nghĩ cơ bản cho những người học máy (vì cách trình bày có trước cách sử dụng phổ biến của từ học sâu) là tồn tại một sự chuyển đổi tối ưu của dữ liệu để dữ liệu có thể dễ dàng đã học. Tôi tin rằng đối với các mạng lưới thần kinh, 'sự chuyển đổi tối ưu' của dữ liệu mặc dù chống đỡ, là giả thuyết mã hóa hiệu quả trong thực tế. Theo cùng một cách đưa ra một hạt nhân thích hợp, nhiều không gian có thể được phân loại dễ dàng bằng các mô hình tuyến tính, học cách thích hợp để biến đổi và lưu trữ dữ liệu IS tương tự với cách thức và cách sắp xếp các nơ-ron để thể hiện dữ liệu.

— Emu ẩn danh
nguồn