Là dừng sớm và bỏ học đủ để thường xuyên hóa phần lớn các mạng lưới thần kinh sâu trong thực tế?

Có rất nhiều kỹ thuật chính quy, không thực tế để thử tất cả các kết hợp:

• l1 / l2
• định mức tối đa
• rơi ra ngoài
• dừng sớm
• ...

Có vẻ như hầu hết mọi người đều hài lòng với sự kết hợp của bỏ học + dừng sớm: có trường hợp sử dụng các kỹ thuật khác có ý nghĩa không?

Ví dụ, nếu bạn muốn một mô hình thưa thớt, bạn có thể thêm vào một chút chính quy hóa l1. Ngoài ra, có những lập luận mạnh mẽ ủng hộ việc rắc vào các kỹ thuật chính quy hóa khác không?

Tôi biết về định lý không ăn trưa miễn phí, theo lý thuyết tôi sẽ phải thử tất cả các kết hợp các kỹ thuật chính quy, nhưng không đáng để thử nếu nó gần như không bao giờ mang lại hiệu suất tăng đáng kể.

Chúng ta hãy nhớ lại mục đích chính của chính quy là giảm sự phù hợp.

Những kỹ thuật khác hiện đang được sử dụng để giảm sự phù hợp:

1) Chia sẻ trọng lượng - như được thực hiện trong CNN, áp dụng cùng các bộ lọc trên ảnh.

2) Tăng cường dữ liệu - Tăng cường dữ liệu hiện có và tạo dữ liệu tổng hợp với các mô hình tổng quát

3) Số lượng lớn dữ liệu đào tạo - nhờ ImageNet, v.v.

4) Đào tạo trước - Ví dụ: Sử dụng ImageNet đã học các trọng số trước khi phân loại đào tạo trên tập dữ liệu Caltech.

5) Việc sử dụng RelU's trong Mạng lưới thần kinh tự nó khuyến khích sự thưa thớt vì chúng cho phép kích hoạt bằng không. Trong thực tế, đối với các khu vực phức tạp hơn trong không gian tính năng, hãy sử dụng nhiều RelU hơn, hủy kích hoạt chúng cho các khu vực đơn giản. Vì vậy, về cơ bản thay đổi độ phức tạp của mô hình dựa trên độ phức tạp của vấn đề.

Sử dụng một loạt các kỹ thuật như vậy ngoài việc bỏ học và dừng sớm dường như đủ cho các vấn đề đang được giải quyết hiện nay. Tuy nhiên, đối với các vấn đề mới với dữ liệu ít hơn, bạn có thể thấy các kỹ thuật chính quy hóa khác hữu ích.