Gần đây, tôi đang nghiên cứu về autoencoders. Nếu tôi hiểu chính xác, bộ mã hóa tự động là một mạng thần kinh nơi lớp đầu vào giống hệt với lớp đầu ra. Vì vậy, mạng lưới thần kinh cố gắng dự đoán đầu ra bằng cách sử dụng đầu vào là tiêu chuẩn vàng.
Sự hữu ích của mô hình này là gì? Những lợi ích của việc cố gắng tái cấu trúc một số yếu tố đầu ra, làm cho chúng bằng nhau nhất có thể với các yếu tố đầu vào là gì? Tại sao người ta nên sử dụng tất cả các máy móc này để đến cùng một điểm khởi đầu?
Câu trả lời:
Bộ mã hóa tự động có lớp đầu vào, lớp ẩn và lớp đầu ra. Đầu vào buộc phải giống hệt với đầu ra, vì vậy đây là lớp ẩn mà chúng ta quan tâm.
Lớp ẩn tạo thành một loại mã hóa của đầu vào. "Mục đích của bộ mã hóa tự động là tìm hiểu một đại diện phân tán (mã hóa) được nén cho một tập hợp dữ liệu." Nếu đầu vào là một vectơ 100 chiều và bạn có 60 nơ ron trong lớp ẩn, thì thuật toán mã hóa tự động sẽ sao chép đầu vào dưới dạng vectơ 100 chiều trong lớp đầu ra, trong quá trình cung cấp cho bạn một vectơ 60 chiều mã hóa đầu vào của bạn .
Vì vậy, mục đích của bộ mã hóa tự động là giảm kích thước , trong số nhiều thứ khác.
Nó cũng có thể mô hình hóa dân số của bạn để khi bạn nhập một vectơ mới, bạn có thể kiểm tra mức độ khác nhau của đầu ra so với đầu vào. Nếu chúng "khá" giống nhau, bạn có thể giả sử đầu vào khớp với dân số. Nếu chúng "hoàn toàn" khác nhau, thì đầu vào có thể không thuộc về dân số mà bạn mô hình hóa.
Tôi thấy nó là một loại "hồi quy của các mạng thần kinh" nơi bạn cố gắng có một chức năng mô tả dữ liệu của mình: đầu ra của nó giống như đầu vào.
Có thể những hình ảnh này cung cấp cho bạn một số trực giác. Như nhà bình luận ở trên cho biết các bộ mã hóa tự động cố gắng trích xuất một số tính năng cấp cao từ các ví dụ đào tạo. Bạn có thể thấy thuật toán tiên lượng được sử dụng để huấn luyện từng cấp độ ẩn riêng biệt cho NN sâu trên bức tranh thứ hai.
Hình ảnh được lấy từ wikipedia của Nga.