Train vs Test Error Gap và mối quan hệ của nó với Quá mức: Điều chỉnh lời khuyên mâu thuẫn

Dường như có những lời khuyên mâu thuẫn ngoài kia về cách xử lý so sánh lỗi tàu và kiểm tra, đặc biệt khi có khoảng cách giữa hai người. Dường như có hai trường phái cho tôi, dường như mâu thuẫn. Tôi đang tìm cách hiểu cách hòa giải hai người (hoặc hiểu những gì tôi đang thiếu ở đây).

Suy nghĩ số 1: Chỉ riêng khoảng cách giữa hiệu suất của bộ thử nghiệm và bộ thử nghiệm không biểu thị quá mức

Đầu tiên, (cũng được thảo luận ở đây: Làm thế nào có thể đào tạo và kiểm tra các so sánh lỗi có thể là dấu hiệu của việc quá mức? ), Ý tưởng rằng một sự khác biệt giữa tập huấn và kiểm tra một mình có thể chỉ ra quá mức. Điều này đồng ý với kinh nghiệm thực tế của tôi, ví dụ, với các phương thức cây, trong đó ngay cả sau khi điều chỉnh siêu tham số dựa trên xác thực chéo, khoảng cách giữa lỗi tàu và lỗi kiểm tra có thể vẫn còn lớn. Nhưng (không phân biệt loại mô hình) miễn là lỗi xác thực của bạn không xảy ra, bạn vẫn ổn. Ít nhất, đó là suy nghĩ.

Suy nghĩ # 2: Khi bạn thấy một khoảng cách giữa hiệu suất tàu và kiểm tra: Làm những việc sẽ chống lại việc quá mức

Tuy nhiên, sau đó có lời khuyên mà bạn thấy, từ các nguồn rất tốt cho thấy rằng khoảng cách giữa lỗi tàu và kiểm tra là dấu hiệu của việc quá mức. Dưới đây là một ví dụ: Cuộc nói chuyện "Nuts and Bolts of Deep Learning" của Andrew Ng (một cuộc nói chuyện tuyệt vời) https://www.youtube.com/watch?v=F1ka6a13S9I trong đó vào khoảng thời gian 48:00 anh ấy vẽ một biểu đồ dòng chảy có nghĩa là "nếu lỗi tập tàu của bạn thấp và lỗi tập tàu của bạn cao, bạn nên thêm chính quy, lấy thêm dữ liệu hoặc thay đổi kiến trúc mô hình" ... đó là tất cả các hành động bạn có thể thực hiện để chống lại tình trạng quá mức.

Điều này đưa tôi đến ... : Tôi có thiếu điều gì ở đây không? Đây có phải là một quy tắc cụ thể của mô hình (nói chung các mô hình đơn giản hơn dường như có ít khoảng cách hơn giữa tàu và kiểm tra)? Hay chỉ đơn giản là có hai trường phái tư tưởng khác nhau?

cross-validation overfitting

— ednaMode
nguồn

Tôi không nghĩ rằng đây là lời khuyên mâu thuẫn. Điều chúng tôi thực sự quan tâm là hiệu suất ngoài mẫu tốt, không phải là giảm khoảng cách giữa hiệu suất tập huấn và kiểm tra. Nếu hiệu suất của bộ thử nghiệm là đại diện cho hiệu suất ngoài mẫu (nghĩa là bộ thử nghiệm đủ lớn, không bị nhiễm bẩn và là mẫu đại diện cho dữ liệu mà mô hình của chúng tôi sẽ được áp dụng), miễn là chúng tôi có được hiệu suất tốt trên bộ kiểm tra chúng tôi không quá mức, bất kể khoảng cách.

Tuy nhiên, thông thường, nếu có một khoảng cách lớn, điều đó có thể cho thấy rằng chúng ta có thể có hiệu suất tập kiểm tra tốt hơn với sự chính quy hóa hơn / giới thiệu nhiều sai lệch hơn cho mô hình. Nhưng điều đó không có nghĩa là một khoảng cách nhỏ hơn có nghĩa là một mô hình tốt hơn; chỉ là nếu chúng ta có một khoảng cách nhỏ hoặc không có khoảng cách giữa hiệu suất tập huấn luyện và kiểm tra, chúng tôi biết rằng chúng tôi chắc chắn không bị quá tải nên việc thêm chính quy hóa / giới thiệu nhiều thành kiến hơn cho mô hình sẽ không giúp ích gì.

— súc miệng
nguồn

Điểm thú vị. Để tóm tắt "không có khoảng cách giữa tàu và kiểm tra" có nghĩa là chắc chắn không có quá mức, nhưng "một số khoảng cách giữa tàu và kiểm tra" có thể hoặc không có nghĩa là quá mức. Nếu chúng ta đi theo logic đó, sơ đồ trong bài nói chuyện của Andrew Ng có vẻ hơi sai lệch: nó không gây khó chịu như slide gợi ý, nếu bạn có một khoảng trống, bạn có thể thử chính quy hóa hoặc nhận thêm dữ liệu, nhưng nó có thể không giúp ích. Bạn có đồng ý không

— ednaMode

Từ kinh nghiệm của tôi, vâng, tôi sẽ đồng ý.

— rinspy

"Để tóm tắt không có khoảng cách giữa tàu và kiểm tra có nghĩa là chắc chắn không có quá mức" có thể không nhất thiết phải giữ. Khi bạn có lượng dữ liệu vô hạn, bạn sẽ nhận được khoảng cách bằng không giữa tàu và kiểm tra ngay cả khi mô hình vượt quá. Vì vậy, tôi nghĩ rằng tuyên bố đó là hợp lệ, bạn cần thêm một số giả định.

— LKS

@LKS Tôi không chắc ý của bạn là gì khi viết quá nhiều ở đây. Hiệu suất ngoài mẫu sẽ luôn nhỏ hơn hoặc bằng hiệu suất trong mẫu, giả sử rằng phân phối dữ liệu không đổi. Vì vậy, khoảng cách bằng không là trường hợp tốt nhất của chúng tôi. Làm thế nào có thể có quá mức với khoảng cách bằng không?

— rinspy

@rinspy nếu bạn xác định quá mức là khoảng cách số giữa dữ liệu huấn luyện và kiểm tra, thì tuyên bố của bạn là chính xác. Nhưng tôi muốn lý do nhiều hơn về những gì mô hình đang làm. Ví dụ, chúng ta có hàm đa thức bậc 3 và kết quả sẽ bao gồm một nhiễu Gaussian nhỏ. Nếu chúng ta có các mẫu hữu hạn và sử dụng đa thức bậc 5 để phù hợp, có một hiệu suất lớn giữa và ngoài mẫu (dự đoán). Nhưng nếu chúng ta có thể vẽ các mẫu gần như vô hạn, một mô hình hoàn toàn ghi nhớ sẽ không có lỗi trong / ngoài mẫu.

— LKS