Giả sử tôi đang viết một thuật toán để xây dựng bộ mã hóa tự động xếp chồng 2 lớp và mạng nơ ron 2 lớp. Chúng là những thứ giống nhau hay khác biệt?
Điều tôi hiểu là khi tôi xây dựng một bộ mã hóa tự động xếp chồng, tôi sẽ xây dựng từng lớp. Đối với mạng nơ-ron, tôi sẽ khởi tạo tất cả các tham số trong netowork, và sau đó với mỗi điểm dữ liệu, tôi chuyển qua mạng và tính toán tổn thất (ví dụ: khoảng cách euclean) và thực hiện backpropagation.
Câu trả lời:
Autoencoder xếp chồng và mạng nơ ron nhiều lớp là khác nhau. Trong thực tế, bạn sẽ có hai mạng chia sẻ trọng lượng và có thể chia sẻ bộ đệm. Vì vậy, trong việc thực hiện của bạn, hai mạng trở nên gắn kết.
Thông thường, autoencoder được đào tạo theo kiểu không giám sát, tham lam, khôn ngoan. (Không có nhãn, bắt đầu đào tạo chỉ với lớp đầu tiên của mạng và sau đó thêm các lớp mới khi bạn đi.) Các trọng số có thể được học bằng nhiều kỹ thuật khác nhau, từ độ dốc "lô" (vui lòng không làm điều đó), đến phương pháp giảm độ dốc ngẫu nhiên theo lô nhỏ (SGD), đến các phương pháp gần như Newton như L-BFGS.
Ý tưởng là các trọng số đã học theo cách không giám sát để giảm thiểu lỗi tái cấu trúc cho nhiệm vụ học tập đại diện cung cấp một điểm khởi đầu tốt để khởi tạo một mạng cho một nhiệm vụ phân biệt được giám sát như phân loại hoặc tương tự. Tức là, mạng học được điều gì đó về phân phối cơ bản bằng cách xem xét dữ liệu chưa được gắn nhãn, cho phép nó phân biệt giữa các dữ liệu được gắn nhãn. Tuy nhiên, các trọng số vẫn cần phải được "điều chỉnh" cho nhiệm vụ mới này. Vì vậy, thêm một lớp hồi quy logistic trên đầu mạng và sau đó học có giám sát với một tập dữ liệu được dán nhãn. Bước tinh chỉnh sẽ thực hiện giảm độ dốc và điều chỉnh trọng số cho tất cả các lớp trong mạng.
Những lợi ích của cách đào tạo mạng lưới thần kinh này là:
Đối với bài báo, hãy xem Bộ tự động khử nhiễu xếp chồng: Tìm hiểu các biểu diễn hữu ích trong một mạng lưới sâu với tiêu chí khử nhiễu cục bộ .