Nguồn gốc của các mạng thần kinh autoencoder là gì?

Tôi đã tìm kiếm trên Google, Wikipedia, Google học giả, và nhiều hơn nữa, nhưng tôi không thể tìm thấy nguồn gốc của Autoencoder. Có lẽ đó là một trong những khái niệm phát triển rất chậm và không thể tìm lại điểm xuất phát rõ ràng, nhưng tôi vẫn muốn tìm một số tóm tắt về các bước chính của sự phát triển của chúng.

Các chương về autoencoders trong Ian Goodfellow, Yoshua Bengio và cuốn sách sâu Learning Aaron Courville cho biết:

Ý tưởng về bộ tự động là một phần của bối cảnh lịch sử của mạng lưới thần kinh trong nhiều thập kỷ (LeCun, 1987; Bourlard và Kamp, 1988; Hinton và Zemel, 1994). Theo truyền thống, bộ tự động được sử dụng để giảm kích thước hoặc học tính năng.

Bài thuyết trình này của Pascal Vincent nói:

Khử nhiễu bằng cách sử dụng bộ tự động cổ điển thực sự đã được giới thiệu sớm hơn nhiều (LeCun, 1987; Gallinari et al., 1987), như là một thay thế cho các mạng Hopfield (Hopfield, 1982).

Điều này dường như ngụ ý rằng "bộ tự động cổ điển" đã tồn tại trước đó: LeCun và Gallinari đã sử dụng chúng nhưng không phát minh ra chúng. Tôi không thấy dấu vết của "bộ tự động cổ điển" sớm hơn năm 1987.

Có ý kiến ​​gì không?

Theo lịch sử được cung cấp trong Schmidhuber, " Học sâu trong mạng lưới thần kinh: tổng quan ", Mạng lưới thần kinh (2015), bộ mã hóa tự động đã được đề xuất như một phương pháp để đào tạo trước không giám sát trong Ballard, "Học tập mô đun trong mạng lưới thần kinh", Kỷ yếu AAI (1987). Tuy nhiên, không rõ liệu đó có phải là lần đầu tiên bộ mã hóa tự động được sử dụng hay không; đây chỉ là lần đầu tiên chúng được sử dụng cho mục đích đào tạo trước ANN .

Khi phần giới thiệu về bài viết của Schmidhuber cho thấy rõ, thật khó để quy tất cả các ý tưởng được sử dụng trong ANN vì tài liệu rất đa dạng và thuật ngữ đã phát triển theo thời gian.

Bài viết dưới đây nói về bộ mã hóa tự động gián tiếp và có từ năm 1986. (tức là sớm hơn một năm so với bài báo của Ballard năm 1987)

DE Rumelhart, GE Hinton và RJ Williams, "Học cách trình bày nội bộ bằng cách truyền lỗi." , Xử lý phân phối song song. Tập 1: Cơ sở. Báo chí MIT, Cambridge, MA, 1986.

Bài viết về cơ bản mô tả một loại mạng mới cho ăn vào thời điểm đó, và chủ nghĩa hình thức toán học của nó.