Có nghiên cứu nào kiểm tra học sinh bỏ học so với các chương trình chính quy khác không?

9

Có bài báo nào được công bố cho thấy sự khác biệt của các phương pháp chính quy hóa cho các mạng thần kinh, tốt nhất là trên các miền khác nhau (hoặc ít nhất là các bộ dữ liệu khác nhau) không?

Tôi đang hỏi bởi vì hiện tại tôi có cảm giác rằng hầu hết mọi người dường như chỉ sử dụng học sinh bỏ học để bình thường hóa trong thị giác máy tính. Tôi muốn kiểm tra xem liệu có lý do (không) sử dụng các cách thức chính quy khác nhau không.

— Martin Thoma
nguồn

3

Hai điểm:

Bỏ học cũng thường được so sánh với các mạng lưới thần kinh. Có vẻ như nó có một số lợi ích hiệu suất của đào tạo và trung bình một số mạng lưới thần kinh.
Bỏ học dễ hiệu chỉnh hơn so với chính quy. Chỉ có một siêu tham số là tỷ lệ bỏ học và mọi người sử dụng rộng rãi 0,5 trong khi đào tạo (và sau đó là 1.0 về đánh giá khóa học :)), xem ví dụ về ví dụ TensorFlow này .

Nhưng dù sao, tôi có một chút hoài nghi về các nghiên cứu thực nghiệm về mạng lưới thần kinh. Có quá nhiều siêu âm để tinh chỉnh, từ cấu trúc liên kết của mạng đến quy trình tối ưu hóa độ dốc cho đến các chức năng kích hoạt và bất cứ thứ gì bạn đang kiểm tra như chính quy. Sau đó, toàn bộ điều này là ngẫu nhiên và thường hiệu suất tăng rất nhỏ đến mức bạn khó có thể kiểm tra thống kê cho sự khác biệt. Nhiều tác giả thậm chí không bận tâm làm kiểm tra thống kê. Họ chỉ xác nhận chéo trung bình và tuyên bố bất kỳ mô hình nào có mức tăng thập phân cao nhất để trở thành người chiến thắng.

Bạn có thể tìm thấy một nghiên cứu thúc đẩy bỏ học chỉ bị mâu thuẫn bởi một chương trình khuyến khích chính quy khác.

Tôi nghĩ rằng tất cả sôi sục theo sở thích thẩm mỹ. IMHO bỏ học nghe có vẻ hợp lý hơn sinh học. Nó cũng có vẻ dễ dàng hơn để hiệu chỉnh. Vì vậy, cá nhân tôi thích nó khi sử dụng một khung công tác như TensorFlow. Nếu chúng ta phải sử dụng mạng thần kinh của riêng mình, điều mà chúng ta thường làm, chúng ta sẽ sử dụng chính quy vì nó dễ thực hiện hơn.

— Ricardo Cruz
nguồn

0

Chắc chắn rồi. Bài báo từ chính Đấng Tạo Hóa, Geoffrey Hinton. https://www.cs.toronto.edu/~hinton/absps/JMLRdropout.pdf đọc nó. Nhưng tôi khuyến khích bạn thấy sự khác biệt bằng cách tự mình thực hiện nó.

— Amanuel Negash
nguồn

2

Bài viết không so sánh rõ ràng giữa các phương pháp chính quy hóa khác nhau, ngoại trừ bằng cách chứng minh bỏ học là cải thiện kết quả hiện đại vào thời điểm đó (kết quả trước đó rất có thể đã sử dụng một số hình thức chính quy hóa khác, nhưng chúng không được liệt kê). Nó cũng đề cập đến các hạn chế trọng lượng tối đa như là một công cụ thường xuyên bổ sung hiệu quả để tăng cường bỏ học.

— Neil Slater