Bộ tự động có thể được sử dụng cho việc học có giám sát?

Bộ tự động có thể được sử dụng cho việc học có giám sát mà không cần thêm lớp đầu ra không? Chúng ta có thể đơn giản cung cấp nó với một vectơ đầu vào-đầu ra được nối để đào tạo và tái cấu trúc phần đầu ra từ phần đầu vào khi thực hiện suy luận không? Phần đầu ra sẽ được coi là các giá trị bị thiếu trong quá trình suy luận và một số chi tiết sẽ được áp dụng.

Một bài báo như vậy tôi biết và tôi đã triển khai là Học bán giám sát bằng cách sử dụng Ladder Networks . Tôi trích dẫn ở đây mô tả của họ về mô hình:

Cách tiếp cận của chúng tôi theo Valpola (2015), người đã đề xuất một mạng Ladder trong đó nhiệm vụ phụ trợ là khử các biểu diễn ở mọi cấp độ của mô hình. Cấu trúc mô hình là một bộ mã hóa tự động với các kết nối bỏ qua từ bộ mã hóa đến bộ giải mã và nhiệm vụ học tập tương tự như trong việc khử nhiễu bộ tự động nhưng được áp dụng cho mọi lớp, không chỉ các đầu vào. Các kết nối bỏ qua làm giảm áp lực để thể hiện chi tiết trong các lớp cao hơn của mô hình bởi vì, thông qua các kết nối bỏ qua, bộ giải mã có thể khôi phục bất kỳ chi tiết nào bị bộ mã hóa loại bỏ.

Để được giải thích thêm về kiểm tra kiến ​​trúc Giải cấu trúc kiến ​​trúc mạng bậc thang của Yoshua Bengio.

Tôi nhớ lại việc đọc các bài báo về các hệ thống như vậy, nếu tôi hiểu bạn một cách chính xác, nhưng không thể nhớ lại các tiêu đề vào lúc này.

Ý tưởng là sử dụng các RNN tổng quát dựa trên ký tự, huấn luyện chúng theo trình tự được mã hóa như "datadatadatadata | answer", và sau đó khi cho ăn trong "otherdatadata |" sau đó nó sẽ tiếp tục tạo ra một số loại câu trả lời dự kiến.

Nhưng, theo như tôi nhớ, đó chỉ là một minh họa gọn gàng vì nếu bạn có dữ liệu để làm gì đó được giám sát, thì bạn sẽ có kết quả tốt hơn bằng các phương pháp thông thường.