Sự khác biệt: Mạng lưới thần kinh sao chép so với Autoencoder

Tôi hiện đang nghiên cứu các bài báo về phát hiện ngoại lệ bằng cách sử dụng RNN (Mạng lưới thần kinh sao chép) và tự hỏi sự khác biệt cụ thể đối với Autoencoder là gì? RNN dường như được coi là chén thánh của việc phát hiện ngoại lệ / dị thường, tuy nhiên ý tưởng này dường như khá cũ, vì các bộ điều khiển tự động đã có từ lâu.

Cả hai loại mạng đều cố gắng xây dựng lại đầu vào sau khi cấp dữ liệu thông qua một số loại cơ chế nén / giải nén. Để phát hiện ngoại lệ, lỗi tái cấu trúc giữa đầu vào và đầu ra được đo - các ngoại lệ dự kiến ​​sẽ có lỗi tái cấu trúc cao hơn.

Sự khác biệt chính dường như là cách nén đầu vào:

Bộ tự động đơn giản nén đầu vào thông qua một lớp ẩn có ít nơ-ron hơn các lớp đầu vào / đầu ra .. theo cách đó, mạng phải học cách biểu diễn dữ liệu nén.

Các mạng nơ ron tái tạo ép dữ liệu thông qua một lớp ẩn sử dụng chức năng kích hoạt giống như cầu thang. Chức năng kích hoạt giống như cầu thang làm cho mạng nén dữ liệu bằng cách gán nó cho một số cụm nhất định (tùy thuộc vào số lượng tế bào thần kinh và số bước).

Từ mạng nơ ron tái tạo để mô hình hóa ngoại lệ trong nhận dạng giọng nói phân đoạn :

RNN ban đầu được giới thiệu trong lĩnh vực nén dữ liệu [5]. Hawkins và cộng sự. đề xuất nó cho mô hình ngoại lệ [4]. Trong cả hai bài báo, cấu trúc 5 lớp được khuyến nghị, với lớp đầu ra tuyến tính và chức năng kích hoạt giống như cầu thang ở lớp giữa (xem Hình 2). Vai trò của chức năng kích hoạt này là định lượng vectơ của các đầu ra của lớp ẩn ở giữa thành các điểm lưới và do đó sắp xếp các điểm dữ liệu thành một số cụm.