Quá mức / Không phù hợp với kích thước tập dữ liệu

Trong biểu đồ dưới đây,

• trục x => Kích thước tập dữ liệu
• trục y => Điểm xác thực chéo

• Đường màu đỏ là dành cho Dữ liệu đào tạo

• Dòng màu xanh lá cây là để thử nghiệm dữ liệu

Trong một hướng dẫn mà tôi đang đề cập, tác giả nói rằng điểm mà đường màu đỏ và đường màu xanh chồng chéo có nghĩa là,

Thu thập thêm dữ liệu không có khả năng tăng hiệu suất tổng quát hóa và chúng tôi đang ở trong một khu vực mà chúng tôi có khả năng đánh giá thấp dữ liệu. Do đó, thật hợp lý khi thử với một mô hình có nhiều công suất hơn

Tôi hoàn toàn không thể hiểu ý nghĩa của cụm từ in đậm và cách nó xảy ra.

Đánh giá cao bất kỳ sự giúp đỡ.

Vì vậy, việc thiếu tiền có nghĩa là bạn vẫn có khả năng cải thiện việc học của mình trong khi quá mức có nghĩa là bạn đã sử dụng một năng lực nhiều hơn mức cần thiết cho việc học.

Khu vực màu xanh lá cây là nơi lỗi kiểm tra tăng lên, tức là bạn nên tiếp tục cung cấp dung lượng (điểm dữ liệu hoặc độ phức tạp của mô hình) để đạt được kết quả tốt hơn. Nhiều đường màu xanh hơn, phẳng hơn, nghĩa là bạn đang đạt đến điểm mà dung lượng được cung cấp (là dữ liệu) là đủ và tốt hơn để thử cung cấp loại công suất khác là độ phức tạp của mô hình.

Nếu nó không cải thiện điểm kiểm tra của bạn hoặc thậm chí giảm nó, điều đó có nghĩa là sự kết hợp của Độ phức tạp dữ liệu bằng cách nào đó là tối ưu và bạn có thể ngừng đào tạo.

Trong khi Kasra Manshaei đưa ra một câu trả lời chung chung (+1), tôi muốn đưa ra một ví dụ dễ hiểu.

$f:[0, 1] \rightarrow \mathbb{R}$ suất này rất hạn chế vì nó chỉ có thể phù hợp với hằng số. Về cơ bản, nó sẽ đoán giá trị trung bình (tất nhiên phụ thuộc vào hàm lỗi, nhưng giữ cho nó đơn giản). Vì vậy, tương đối nhanh chóng, bạn sẽ có một ước tính khá tốt về các tham số tốt nhất cho loại mô hình này là gì. Lỗi kiểm tra và huấn luyện của bạn sẽ gần như giống hệt nhau, bất kể bạn thêm bao nhiêu ví dụ. Vấn đề không phải là bạn không có đủ dữ liệu, vấn đề là mô hình của bạn không đủ mạnh: Bạnkhông phù hợp .

Vì vậy, hãy đi theo cách khác: Giả sử bạn có 1000 điểm dữ liệu. Biết một chút về toán học, bạn chọn một đa thức bậc 999. Bây giờ bạn có thể phù hợp với dữ liệu đào tạo một cách hoàn hảo. Tuy nhiên, dữ liệu của bạn có thể vừa với dữ liệu quá hoàn hảo. Ví dụ, xem (từ blog của tôi )

Trong trường hợp này, bạn có các mô hình khác cũng phù hợp với dữ liệu một cách hoàn hảo. Rõ ràng, mô hình màu xanh có vẻ không tự nhiên giữa các biểu dữ liệu. Bản thân mô hình có thể không thể nắm bắt tốt loại phân phối, do đó, việc hạn chế mô hình thành một thứ đơn giản hơn thực sự có thể giúp nó. Đây có thể là một ví dụ về quá mức .

Trong trường hợp của bạn, bạn có - một khoảng cách rất nhỏ (hoặc không) giữa các đường cong đào tạo và kiểm tra chỉ ra rằng mô hình có độ lệch / độ lệch cao, giải pháp: cần chọn một mô hình phức tạp hơn; - để hoàn thành, cần thêm một trường hợp ngược lại khi khoảng cách giữa các đường cong kiểm tra và thử nghiệm là rất lớn cho thấy phương sai / quá mức cao, các giải pháp: a) tiếp tục tăng Kích thước tập dữ liệu; b) chọn mô hình ít phức tạp hơn, c) làm chính quy.

Bạn có thể làm bất kỳ / tất cả những điều sau đây:

1) thay đổi các tính năng mà bạn đang cung cấp cho mô hình

2) chọn một mô hình khác nhau để làm việc với

3) tải thêm dữ liệu vào mô hình (có thể không phải là một tùy chọn cho bạn, nhưng thông thường đây là một tùy chọn)