Đóng gói so với bỏ học trong Mạng lưới thần kinh sâu

Đóng bao là thế hệ của nhiều yếu tố dự đoán hoạt động giống như một yếu tố dự đoán duy nhất. Bỏ học là một kỹ thuật dạy cho các mạng thần kinh để trung bình tất cả các mạng con có thể. Nhìn vào các cuộc thi quan trọng nhất của Kaggle dường như hai kỹ thuật này được sử dụng cùng nhau rất thường xuyên. Tôi không thể thấy bất kỳ sự khác biệt về lý thuyết nào ngoài việc thực hiện. Ai có thể giải thích cho tôi tại sao chúng ta nên sử dụng cả hai trong bất kỳ ứng dụng thực tế nào? và tại sao hiệu suất cải thiện khi chúng ta sử dụng cả hai?

Đóng bao và bỏ học không đạt được điều gì hoàn toàn giống nhau, mặc dù cả hai đều là loại mô hình trung bình.

Đóng gói là một hoạt động trên toàn bộ tập dữ liệu của bạn, đào tạo các mô hình trên một tập hợp con của dữ liệu đào tạo. Do đó, một số ví dụ đào tạo không được hiển thị cho một mô hình nhất định.

Bỏ học , ngược lại, được áp dụng cho các tính năng trong mỗi ví dụ đào tạo. Đúng là kết quả này có chức năng tương đương với đào tạo theo cấp số nhân nhiều mạng (với trọng số được chia sẻ!) Và sau đó cân bằng kết quả đầu ra của chúng. Nhưng bỏ học hoạt động trên không gian tính năng, khiến một số tính năng nhất định không có sẵn cho mạng, không phải là ví dụ đầy đủ. Bởi vì mỗi nơ-ron không thể hoàn toàn dựa vào một đầu vào, các biểu diễn trong các mạng này có xu hướng phân tán nhiều hơn và mạng ít có khả năng phù hợp hơn.

Tôi đã tìm thấy một so sánh của hai loại lưới trong Max Out Networks có nội dung:

Đào tạo bỏ học tương tự như đóng bao (Breiman, 1994), trong đó nhiều mô hình khác nhau được đào tạo trên các tập hợp con khác nhau của dữ liệu. Đào tạo bỏ học khác với đóng gói ở chỗ mỗi mô hình được đào tạo chỉ một bước và tất cả các mô hình chia sẻ các tham số. Để quy trình đào tạo này (bỏ học) hoạt động như thể nó đang đào tạo một nhóm chứ không phải là một mô hình duy nhất, mỗi bản cập nhật phải có hiệu ứng lớn, để nó làm cho mô hình con được tạo ra bởi điều đó phù hợp với đầu vào hiện tại v.

Hy vọng nó sẽ hữu ích.

Bỏ học là một kỹ thuật chính quy được sử dụng để tránh quá mức trong các mạng lưới thần kinh lớn đặc biệt bằng cách loại bỏ một số tế bào thần kinh trong các lớp ẩn (do đó bỏ tên cho các tế bào thần kinh bên trái) sau khi đào tạo. Về cơ bản, nếu mạng thực sự học được bất cứ điều gì trong quá trình đào tạo thì việc bỏ đi một số tế bào thần kinh không nên ảnh hưởng tiêu cực đến độ chính xác của các dự đoán.

Đóng bao cũng là một kỹ thuật chính quy hóa hiệu quả, được sử dụng để giảm phương sai từ dữ liệu huấn luyện và cải thiện độ chính xác của mô hình của bạn bằng cách sử dụng nhiều bản sao của nó được đào tạo trên các tập hợp dữ liệu khác nhau từ tập dữ liệu đào tạo ban đầu / lớn hơn.

xem câu hỏi này