Làm thế nào để ngăn chặn quá mức trong các mô hình xếp chồng?

Tôi hiểu trực giác đằng sau các mô hình xếp chồng trong học máy, nhưng ngay cả sau khi các mô hình sơ đồ xác thực chéo kỹ lưỡng dường như quá phù hợp. Hầu hết các mô hình tôi đã thấy trong các diễn đàn kaggle là các nhóm lớn, nhưng dường như rất phù hợp với rất ít.

Hiệu quả của việc phân chia dữ liệu đào tạo và phân chia đường ống thành các mạng để đào tạo độc lập, mặc dù có thể là một giải pháp hiệu quả cho các trường hợp cụ thể, không phải là một giải pháp mạnh mẽ để phù hợp xuất sắc trên một loạt các bộ dữ liệu đầu vào.

Như được đề xuất trong nhận xét của varshaneya, sự phù hợp quá mức có thể là kết quả của tham số meta chính quy hóa không đạt yêu cầu, như trong một thiết lập kém của tham số λ chính quy trong StackGAN. Tất cả các tham số meta được sử dụng để điều chỉnh một kiến ​​trúc xếp chồng phải được xem xét kỹ lưỡng để xác định xem cài đặt của nó có thể dẫn đến khớp quá mức hay không. Một số có thể được loại bỏ lên phía trước. Ví dụ, tốc độ học tập quá cao ở bất kỳ cấp độ nào của bất kỳ mạng nào trong thiết kế có thể làm giảm xác suất hội tụ, nhưng không phải là nguyên nhân có thể gây ra sự phù hợp quá mức.

H. Hutson, S. Geva và P. Cimiano đã viết, trong bản đệ trình năm 2017 của họ cho Hội nghị NTCIR lần thứ 13 về Đánh giá công nghệ truy cập thông tin , "Các phương pháp của bộ máy trong học máy liên quan đến việc kết hợp nhiều bộ phân loại thông qua nhiều phương pháp khác nhau như đóng gói (tính trung bình hoặc bỏ phiếu), tăng cường và xếp chồng, để tăng hiệu suất và giảm sự phù hợp quá mức. " Tuy nhiên, việc đóng bao không tạo ra phản ứng mạnh mẽ đối với các tập dữ liệu khác nhau theo kinh nghiệm của chúng tôi, ngay cả khi được chuẩn hóa, được lọc để giảm mức độ nhiễu và sự dư thừa bị hạn chế.

Zhi-Hua Zhou và Ji Feng [Phòng thí nghiệm trọng điểm quốc gia về công nghệ phần mềm Novel, Đại học Nam Kinh, Trung Quốc, đã chỉ ra] đã viết: "Để giảm nguy cơ phù hợp quá mức, vectơ lớp được tạo ra bởi mỗi khu rừng được tạo ra bằng xác nhận chéo k-Fold. " Đọc bài viết của họ, Deep Forest , có thể cung cấp cho bạn một số nguyên nhân để đánh giá.

Quá khớp thường là ứng dụng của một mô hình quá phức tạp mà dữ liệu phù hợp. Trong thế giới của các mạng được kích hoạt, sự tinh vi quá mức có thể đơn giản như một số lượng quá nhiều lớp mạng trong một hoặc nhiều mạng xếp chồng lên nhau.

Việc trích xuất tính năng lên phía trước có thể cần thiết để loại bỏ sự phức tạp khỏi đầu vào, điều này không chỉ không cần thiết mà còn phản tác dụng đối với việc khái quát hóa và do đó tạo ra đầu ra hữu ích.