Chọn phương pháp chính quy trong mạng nơ ron

Khi đào tạo mạng lưới thần kinh, có ít nhất 4 cách để thường xuyên hóa mạng:

Không có bất kỳ nguyên tắc mạnh mẽ, được ghi chép rõ ràng nào để giúp bạn quyết định giữa các loại chính quy trong mạng lưới thần kinh. Bạn thậm chí có thể kết hợp các kỹ thuật chính quy, bạn không phải chọn chỉ một.

Một cách tiếp cận khả thi có thể dựa trên kinh nghiệm và theo dõi tài liệu và kết quả của người khác để xem điều gì mang lại kết quả tốt trong các lĩnh vực vấn đề khác nhau. Ghi nhớ điều này, học sinh bỏ học đã tỏ ra rất thành công đối với một loạt các vấn đề và có lẽ bạn có thể coi đó là một lựa chọn đầu tiên tốt gần như bất kể bạn đang cố gắng làm gì.

Ngoài ra, đôi khi chỉ cần chọn một tùy chọn mà bạn quen thuộc có thể giúp - làm việc với các kỹ thuật bạn hiểu và có kinh nghiệm có thể mang lại cho bạn kết quả tốt hơn so với việc thử toàn bộ túi tùy chọn khác nhau trong đó bạn không chắc chắn nên thử độ lớn nào cho tham số . Một vấn đề quan trọng là các kỹ thuật có thể tương tác với các tham số mạng khác - ví dụ, bạn có thể muốn tăng kích thước của các lớp với tỷ lệ bỏ học tùy thuộc vào tỷ lệ bỏ học.

Cuối cùng, bạn có thể sử dụng các kỹ thuật chính quy hóa nào không quan trọng , chỉ cần bạn hiểu vấn đề của mình và mô hình đủ tốt để phát hiện ra khi nó quá mức và có thể thực hiện với việc chính quy hóa hơn. Hoặc ngược lại, phát hiện ra khi nó bị thiếu và bạn nên thu nhỏ lại quy trình chính quy.

Phương pháp chính quy

Đối với 4 kỹ thuật sau đây, Chính quy hóa L1 và Chính quy hóa L2 là không cần thiết phải nói rằng chúng phải là một phương pháp chính quy hóa. Họ thu nhỏ trọng lượng. L1 sẽ tập trung vào việc thu nhỏ một trọng lượng nhỏ hơn nếu trọng lượng có tầm quan trọng cao hơn.

Bỏ học ngăn ngừa quá mức bằng cách tạm thời loại bỏ tế bào thần kinh. Cuối cùng, nó tính toán tất cả các trọng số ở mức trung bình để trọng lượng sẽ không quá lớn đối với một tế bào thần kinh cụ thể và do đó nó là một phương pháp chính quy.

Chuẩn hóa hàng loạt không nên là một phương pháp chính quy vì mục đích chính của nó là tăng tốc độ đào tạo bằng cách chọn một lô và buộc trọng lượng được phân phối gần 0, không quá lớn, không quá nhỏ.

Chọn nó

Đối với tôi, mini-batch là điều bắt buộc bởi vì nó có thể tăng tốc quá trình và cải thiện hiệu suất của mạng mỗi lần.

L1 và L2 đều giống nhau và tôi thích L1 hơn trong mạng nhỏ.

Tốt nhất, nên bỏ học nếu có vấn đề về biến thể lớn hoặc quá mức.

Cuối cùng nhưng không kém phần quan trọng, tôi đồng ý với Neil Slater rằng nó phụ thuộc vào tình huống và sẽ không bao giờ có một giải pháp tối ưu.

Tôi khuyên bạn nên đọc nó để biết thêm thông tin. Đây là một vật liệu rất tốt. http://neuralnetworksanddeeplearning.com/chap3.html

Hãy xem các lựa chọn thuật toán đó như các siêu đường kính bổ sung và tối ưu hóa chúng giống như cách bạn làm đối với các siêu đường kính khác. Thông thường, điều này sẽ đòi hỏi nhiều dữ liệu hơn.