Tôi vừa mới học về chính quy hóa như một cách tiếp cận để kiểm soát sự phù hợp quá mức, và tôi muốn kết hợp ý tưởng này vào một triển khai đơn giản của backpropagation và Multceptionron (MLP) mà tôi kết hợp.
Hiện tại để tránh sự phù hợp quá mức, tôi xác nhận chéo và giữ cho mạng có điểm số tốt nhất cho đến nay trên bộ xác thực. Điều này hoạt động tốt, nhưng việc thêm chính quy sẽ có lợi cho tôi trong việc lựa chọn chính xác thuật toán và tham số chính quy sẽ làm cho mạng của tôi hội tụ trên một mô hình không phù hợp hơn một cách có hệ thống hơn.
Công thức tôi có cho thuật ngữ cập nhật (từ khóa học Coursera ML) được nêu là cập nhật theo đợt, ví dụ cho từng trọng số, sau khi tổng hợp tất cả các đồng bằng áp dụng cho toàn bộ tập huấn từ lan truyền lỗi, điều chỉnh lambda * current_weightcũng được thêm vào trước khi kết hợp delta được trừ vào cuối đợt, trong đó lambdatham số chính quy.
Việc triển khai backpropagation của tôi sử dụng cập nhật trọng lượng cho mỗi mục. Tôi lo ngại rằng tôi không thể chỉ sao chép cách tiếp cận hàng loạt, mặc dù nó có vẻ trực quan với tôi. Liệu một thuật ngữ chính quy nhỏ hơn cho mỗi mục cũng hoạt động tốt?
Ví dụ lambda * current_weight / N, trong đó N là kích thước của tập huấn luyện - thoạt nhìn có vẻ hợp lý. Mặc dù vậy, tôi không thể tìm thấy bất cứ điều gì về chủ đề này và tôi tự hỏi liệu đó có phải là do việc chính quy hóa không hoạt động tốt với cập nhật cho mỗi mục hay thậm chí đi theo một tên khác hoặc công thức bị thay đổi.