Xác nhận chéo bao gồm đào tạo, xác nhận và thử nghiệm. Tại sao chúng ta cần ba tập con?

Tôi có một câu hỏi liên quan đến quá trình xác nhận chéo. Tôi đang ở giữa một khóa học về Machine Learning trên Cursera. Một trong những chủ đề là về xác thực chéo. Tôi thấy nó hơi khó theo dõi. Tôi biết lý do tại sao chúng tôi cần CV vì chúng tôi muốn các mô hình của chúng tôi hoạt động tốt trên dữ liệu (chưa biết) trong tương lai và CV ngăn không cho quá nhiều. Tuy nhiên, quá trình tự nó là khó hiểu.

Điều tôi đã hiểu là tôi chia dữ liệu thành 3 tập con: đào tạo, xác nhận và kiểm tra. Đào tạo và xác nhận là để tìm độ phức tạp tối ưu của một mô hình. Những gì tôi không hiểu là tập hợp con thứ ba. Tôi hiểu rằng tôi có một số tính năng cho mô hình, huấn luyện nó và xác thực nó trên tập hợp con Xác thực và tìm kiếm Hàm chi phí tối thiểu khi tôi thay đổi cấu trúc. Khi tôi tìm thấy nó, tôi kiểm tra mô hình trên tập hợp con Test. Nếu tôi đã tìm thấy Hàm chi phí tối thiểu trên tập hợp con Xác thực, tại sao tôi lại cần kiểm tra lại nó trong tập hợp con Thử nghiệm ???

Ai đó có thể xin vui lòng làm rõ điều này cho tôi?

Cảm ơn bạn

• Tập huấn luyện được sử dụng để chọn các tham số tối ưu cho một mô hình nhất định. Lưu ý rằng việc đánh giá một số bộ tham số đã cho bằng cách sử dụng tập huấn luyện sẽ cho bạn ước tính không thiên vị về hàm chi phí của bạn - đó là hành động chọn tham số tối ưu hóa ước tính của hàm chi phí dựa trên tập huấn mà sai lệch ước tính mà chúng cung cấp . Các tham số đã được chọn thực hiện tốt nhất trên tập huấn luyện; do đó, hiệu suất rõ ràng của các tham số đó, như được đánh giá trên tập huấn luyện, sẽ quá lạc quan.
• Được đào tạo sử dụng tập huấn luyện, bộ xác nhận được sử dụng để chọn mô hình tốt nhất. Một lần nữa, lưu ý rằng việc đánh giá bất kỳ mô hình cụ thể nào bằng cách sử dụng bộ xác thực sẽ cung cấp cho bạn ước tính đại diện của hàm chi phí - đó là hành động chọn mô hình hoạt động tốt nhất trên bộ xác thực sai lệch ước tính mà chúng cung cấp. Mô hình đã được chọn để thực hiện tốt nhất trên bộ xác nhận; do đó, hiệu suất rõ ràng của mô hình đó, như được đánh giá trên bộ xác nhận, sẽ quá lạc quan.
• Đã đào tạo từng mô hình bằng cách sử dụng tập huấn luyện và chọn mô hình tốt nhất bằng cách sử dụng bộ xác nhận , bộ kiểm tra cho bạn biết lựa chọn mô hình cuối cùng của bạn tốt như thế nào. Nó cung cấp cho bạn một ước tính không thiên vị về hiệu suất thực tế bạn sẽ nhận được trong thời gian chạy, điều quan trọng là phải biết vì rất nhiều lý do. Bạn không thể sử dụng tập huấn luyện cho việc này, bởi vì các tham số được thiên về nó. Và bạn không thể sử dụng bộ xác thực cho việc này, vì bản thân mô hình đã thiên về những điều đó. Do đó, sự cần thiết cho một bộ thứ ba.

Nếu tôi đã tìm thấy Hàm chi phí tối thiểu trên tập hợp con Xác thực, tại sao tôi cần kiểm tra lại nó trong tập hợp con Kiểm tra

Do lỗi ngẫu nhiên: Thông thường bạn chỉ có số lượng trường hợp hữu hạn.

Tối ưu hóa hiệu suất xác thực (kiểm tra bên trong) có nghĩa là bạn có thể bị quá mức cho bộ kiểm tra bên trong đó. Bộ thử nghiệm bên trong góp phần vào việc ước tính mô hình cuối cùng và do đó không độc lập với mô hình.

Điều này có nghĩa là bạn cần có một bộ kiểm tra (bên ngoài) khác độc lập với toàn bộ quy trình mô hình hóa (bao gồm tất cả các quy trình lựa chọn tiền xử lý và tối ưu hóa dựa trên dữ liệu) nếu bạn muốn ước tính các thuộc tính tổng quát.

Tôi khuyên bạn nên tạo một mô phỏng và so sánh ba ước tính lỗi khác nhau mà bạn có thể có

• đặt lại: dự đoán của bộ tàu
  đo lường mức độ phù hợp
• thử nghiệm bên trong (trong danh pháp: xác thực) của bạn: chất lượng mà trình tối ưu hóa nghĩ là đạt được
• bộ kiểm tra bên ngoài: lỗi tổng quát, độc lập với đào tạo mô hình.

Trong một mô phỏng, bạn có thể dễ dàng so sánh chúng với một bộ thử nghiệm được tạo độc lập, lớn, phù hợp. Nếu thiết lập là chính xác, thử nghiệm bên ngoài sẽ không thiên vị (viết mô hình thay thế mà nó đánh giá, không viết mô hình "cuối cùng" được xây dựng trên toàn bộ tập dữ liệu). Các thử nghiệm bên trong thường thiên vị lạc quan, và tái lập lại thậm chí thiên vị lạc quan hơn.

Trong lĩnh vực của tôi, thử nghiệm bên trong sẽ dễ dàng đánh giá thấp lỗi tổng quát hóa theo hệ số 2 - 5 (nhiều hơn nữa đối với các sơ đồ tối ưu hóa tích cực).

Lưu ý: danh pháp của các bộ không phổ biến. Trong lĩnh vực của tôi (hóa học phân tích), xác nhận thường có nghĩa là bằng chứng về hiệu suất của quy trình cuối cùng - do đó, bộ "kiểm tra" của bạn sẽ làm gì hơn so với bộ "xác thực" của bạn.

Do đó, tôi thích nói về các bộ thử nghiệm bên trong và bên ngoài hoặc của bộ thử nghiệm tối ưu hóa (= bộ thử nghiệm bên trong) và sau đó bộ xác nhận sẽ có nghĩa là bộ thử nghiệm bên ngoài.

Trong khi đào tạo mô hình, người ta phải chọn các tham số meta cho mô hình (ví dụ: tham số chính quy) hoặc thậm chí chọn từ một số mô hình. Trong trường hợp này, tập hợp con xác nhận được sử dụng để chọn tham số, nhưng kiểm tra tập hợp con để ước tính dự đoán cuối cùng.