Kỹ thuật bỏ học của người Viking là gì?

Phương pháp "bỏ học" phục vụ mục đích gì và làm thế nào để cải thiện hiệu suất tổng thể của mạng lưới thần kinh?

Bỏ học có nghĩa là mọi điểm dữ liệu riêng lẻ chỉ được sử dụng để phù hợp với một tập hợp con ngẫu nhiên của các nơ-ron. Điều này được thực hiện để làm cho mạng lưới thần kinh giống như một mô hình tập hợp.

Nghĩa là, giống như một khu rừng ngẫu nhiên đang lấy trung bình kết quả của nhiều cây quyết định riêng lẻ, bạn có thể thấy một mạng lưới thần kinh được đào tạo bằng cách sử dụng bỏ qua để lấy trung bình các kết quả của nhiều mạng thần kinh riêng lẻ (với 'kết quả' được hiểu là kích hoạt ở mọi lớp , thay vì chỉ là lớp đầu ra).

Bài báo gốc ¹ đề xuất bỏ mạng thần kinh có tiêu đề: Bỏ học: Một cách đơn giản để ngăn chặn các mạng thần kinh bị quá tải . Điều đó giải thích khá nhiều trong một câu mà Dropout làm. Bỏ học hoạt động bằng cách chọn ngẫu nhiên và loại bỏ tế bào thần kinh trong mạng lưới thần kinh trong giai đoạn đào tạo. Lưu ý rằng bỏ học không được áp dụng trong quá trình thử nghiệm và mạng kết quả không bỏ học như một phần của dự đoán.

Việc loại bỏ ngẫu nhiên / loại bỏ các tế bào thần kinh này sẽ ngăn chặn sự đồng bộ quá mức của các tế bào thần kinh và làm như vậy, làm giảm khả năng mạng quá mức .

Việc loại bỏ ngẫu nhiên các tế bào thần kinh trong quá trình đào tạo cũng có nghĩa là tại bất kỳ thời điểm nào, chỉ có một phần của mạng ban đầu được đào tạo. Điều này có tác dụng là bạn kết thúc loại đào tạo nhiều mạng con, ví dụ:

Chính từ việc đào tạo các mạng con lặp đi lặp lại này trái ngược với toàn bộ mạng nơi khái niệm bỏ mạng thần kinh là một loại kỹ thuật tập hợp xuất hiện. Tức là việc đào tạo các mạng con tương tự như đào tạo nhiều thuật toán, tương đối yếu / mô hình và kết hợp chúng để tạo thành một thuật toán mạnh hơn các phần riêng lẻ.

Người giới thiệu:

_{¹ : Srivastava, Nitish, et al. "Bỏ học: Một cách đơn giản để ngăn chặn các mạng thần kinh bị quá tải." Tạp chí Nghiên cứu Máy học 15.1 (2014): 1929-1958.}

Tôi sẽ cố gắng trả lời các câu hỏi của bạn bằng cách sử dụng các ý tưởng của Geoffrey Hinton trong bài báo bỏ học và lớp Coursera của anh ấy.

Phương pháp "bỏ học" phục vụ mục đích gì?

Mạng lưới thần kinh sâu với một số lượng lớn các tham số là hệ thống máy học rất mạnh. Tuy nhiên, quá mức là một vấn đề nghiêm trọng trong các mạng như vậy. Các mạng lớn cũng chậm sử dụng, gây khó khăn cho việc xử lý quá mức bằng cách kết hợp các dự đoán của nhiều mạng lưới thần kinh lớn khác nhau tại thời điểm thử nghiệm. Bỏ học là một kỹ thuật để giải quyết vấn đề này.

vì vậy, đây là một kỹ thuật chính quy nhằm giải quyết vấn đề quá mức (phương sai cao).

Làm thế nào để cải thiện hiệu suất tổng thể?
bằng cách khái quát hóa tốt hơn và không rơi vào cái bẫy của sự phù hợp.

Có một số câu trả lời tuyệt vời ở đây. Lời giải thích đơn giản nhất tôi có thể đưa ra cho việc bỏ học là nó loại trừ ngẫu nhiên một số tế bào thần kinh và các kết nối của chúng khỏi mạng, trong khi đào tạo, để ngăn chặn các tế bào thần kinh "đồng thích ứng" quá nhiều. Nó có tác dụng làm cho mỗi nơ-ron áp dụng chung hơn và là tuyệt vời để ngăn chặn quá mức cho các mạng lưới thần kinh lớn.