Cách thứ ba là chính xác. Chính xác tại sao được đề cập chi tiết tuyệt vời trong Các yếu tố của học thống kê , xem phần "Sai và đúng cách để xác thực chéo", và trong chương cuối cùng của Học từ dữ liệu , trong ví dụ về thị trường chứng khoán.
Về cơ bản, quy trình 1 và 2 rò rỉ thông tin về phản hồi hoặc từ tương lai, từ dữ liệu giữ của bạn được thiết lập vào đào tạo hoặc đánh giá về mô hình của bạn. Điều này có thể gây ra sự thiên vị lạc quan đáng kể trong đánh giá mô hình của bạn.
Ý tưởng trong xác nhận mô hình là bắt chước tình huống bạn sẽ gặp phải khi mô hình của bạn đưa ra quyết định sản xuất, khi bạn không có quyền truy cập vào phản hồi thực sự. Hậu quả là bạn không thể sử dụng phản hồi trong bộ kiểm tra cho bất cứ điều gì ngoại trừ so với các giá trị dự đoán của bạn.
Một cách khác để tiếp cận nó là tưởng tượng rằng bạn chỉ có quyền truy cập vào một điểm dữ liệu từ tổ chức của bạn tại một thời điểm (một tình huống phổ biến cho các mô hình sản xuất). Bất cứ điều gì bạn không thể làm theo giả định này, bạn nên giữ sự nghi ngờ lớn. Rõ ràng, một điều bạn không thể làm là tổng hợp trên tất cả các điểm dữ liệu mới trong quá khứ và tương lai để bình thường hóa luồng dữ liệu sản xuất của bạn - do đó, làm như vậy để xác thực mô hình là không hợp lệ.
Bạn không phải lo lắng về giá trị trung bình của bộ kiểm tra của bạn là khác không, đó là một tình huống tốt hơn là làm sai lệch các ước tính hiệu suất của bạn. Mặc dù, tất nhiên, nếu bài kiểm tra thực sự được rút ra từ cùng một phân phối cơ bản như tàu của bạn (một giả định thiết yếu trong học tập thống kê), có nghĩa là trung bình sẽ xuất hiện ở mức xấp xỉ bằng không.
R? Xem câu hỏi này: stackoverflow.com/questions/49260862/ từ