Sự khác biệt giữa bỏ học và thả kết nối là gì?
AFAIK, bỏ học ngẫu nhiên giảm các nút ẩn trong quá trình đào tạo nhưng giữ chúng trong thử nghiệm và thả kết nối giảm kết nối.
Nhưng không bỏ kết nối tương đương với việc thả các nút ẩn? Không phải các nút (hoặc kết nối) chỉ là một tập hợp trọng số?
Câu trả lời:
DropOut và DropConnect đều là các phương pháp nhằm ngăn chặn "đồng thích ứng" của các đơn vị trong mạng lưới thần kinh. Nói cách khác, chúng tôi muốn các đơn vị trích xuất độc lập các tính năng từ đầu vào của chúng thay vì dựa vào các nơ-ron khác để làm như vậy.
Giả sử chúng ta có một mạng cấp dữ liệu nhiều lớp như thế này (cấu trúc liên kết không thực sự quan trọng). Chúng tôi lo lắng về các đơn vị ẩn màu vàng trong lớp đồng thích ứng.
Để áp dụng DropOut, chúng tôi chọn ngẫu nhiên một tập hợp con của các đơn vị và kẹp đầu ra của chúng về 0, bất kể đầu vào là gì; điều này có hiệu quả loại bỏ các đơn vị từ mô hình. Một tập hợp con khác nhau của các đơn vị được chọn ngẫu nhiên mỗi khi chúng tôi trình bày một ví dụ đào tạo.
Dưới đây là hai cấu hình mạng có thể. Trong bản trình bày đầu tiên (bên trái), các đơn vị thứ 1 và 3 bị vô hiệu hóa, nhưng các đơn vị thứ 2 và 3 đã được chọn ngẫu nhiên trong bản trình bày tiếp theo. Tại thời điểm thử nghiệm, chúng tôi sử dụng mạng hoàn chỉnh nhưng hủy bỏ các trọng số để bù cho thực tế là tất cả chúng đều có thể hoạt động (ví dụ: nếu bạn giảm một nửa các nút, trọng lượng cũng sẽ giảm đi một nửa).
DropConnect hoạt động tương tự, ngoại trừ việc chúng tôi vô hiệu hóa các trọng số riêng lẻ (nghĩa là đặt chúng về 0), thay vì các nút, do đó, một nút có thể vẫn hoạt động một phần. Theo sơ đồ, nó trông như thế này:
Các phương pháp này đều hoạt động vì chúng có hiệu quả cho phép bạn đào tạo một số mô hình cùng một lúc, sau đó trung bình trên chúng để thử nghiệm. Ví dụ: lớp màu vàng có bốn nút và do đó có thể có 16 trạng thái DropOut (tất cả được bật, # 1 bị tắt, # 1 và # 2 bị tắt, v.v.).
DropConnect là một khái quát của DropOut vì nó tạo ra nhiều mô hình khả dĩ hơn, vì hầu như luôn có nhiều kết nối hơn các đơn vị. Tuy nhiên, bạn có thể nhận được kết quả tương tự trên một thử nghiệm cá nhân. Ví dụ: mạng DropConnect ở bên phải đã loại bỏ Đơn vị số 2 một cách hiệu quả do tất cả các kết nối đến đã bị xóa.
Các giấy tờ ban đầu khá dễ tiếp cận và chứa nhiều chi tiết và kết quả thực nghiệm.
Có, nhưng chúng hơi khác nhau về cách giảm trọng lượng.
Đây là các công thức của DropConnect (trái) và bỏ học (phải).
Vì vậy, bỏ học áp dụng một mặt nạ cho các kích hoạt, trong khi DropConnect áp dụng một mặt nạ cho các trọng số.
Bài báo DropConnect nói rằng đó là một khái quát của bỏ học theo nghĩa là
DropConnect là sự khái quát hóa của Dropout trong đó mỗi kết nối, thay vì từng đơn vị đầu ra như trong Dropout, có thể được loại bỏ với xác suất p.