Tôi đang suy nghĩ về cùng một đoạn văn và tôi cũng tự hỏi bao giờ tôi sẽ quan tâm đến lỗi kiểm tra có điều kiện. Hơn nữa, theo như tôi có thể hiểu thì chúng phải giống nhau một cách không có triệu chứng: đối với tập huấn luyện và kiểm tra rất lớn, việc phân tách tập huấn luyện / kiểm tra chính xác sẽ không còn dẫn đến các ước tính lỗi kiểm tra có điều kiện khác nhau. Như bạn có thể thấy trong Hastie et al. đặt các ví dụ của họ về điều kiện - sự khác biệt dự kiến luôn dựa trên số lượng quan sát tương đối nhỏ, mà nếu tôi hiểu điều này chính xác là lý do tại sao các lỗi kiểm tra có điều kiện và dự kiến trông khác nhau trong các biểu đồ.
Cuốn sách đề cập rằng lỗi kiểm tra dự kiến trung bình trên tính ngẫu nhiên trong tập huấn luyện, trong khi lỗi kiểm tra (có điều kiện) thì không. Bây giờ khi nào tôi muốn có sự không chắc chắn liên quan đến phân vùng tập huấn / kiểm tra cụ thể nào tôi thực hiện? Câu trả lời của tôi là tôi thường không bao giờ quan tâm đến việc chứa đựng sự không chắc chắn này vì đây không phải là điều tôi quan tâm khi thực hiện đánh giá mô hình: Khi đánh giá chất lượng dự đoán của một mô hình tôi muốn biết nó như thế nào giá vé sẽ cho biết dự báo thời tiết ngày mai. Thời tiết ngày mai có liên quan đến dữ liệu tổng thể của tôi khá nhiều vì dữ liệu thử nghiệm của tôi có liên quan đến dữ liệu đào tạo của tôi - vì vậy tôi tính một lỗi kiểm tra có điều kiện để đánh giá mô hình của mình. Tuy nhiên, thời tiết ngày mai có liên quan đến dữ liệu tổng thể của tôi không giống như một bộ kiểm tra cụ thể có liên quan đến tập huấn luyện cụ thể tương ứng, nhưng tập kiểm tra trung bình có liên quan như thế nào đến tập huấn luyện trung bình. Vì vậy, tôi có được phân vùng tập huấn / kiểm tra tiếp theo và nhận được một lỗi kiểm tra có điều kiện khác. Tôi làm điều này nhiều lần (ví dụ như trong xác thực chéo K-Fold) - sự thay đổi trong các lỗi kiểm tra điều kiện riêng lẻ tính trung bình - và tôi còn lại với lỗi kiểm tra dự kiến; mà, một lần nữa, là tất cả những gì tôi có thể nghĩ đến muốn có được. trong xác thực chéo K-Fold) - sự thay đổi trong các lỗi kiểm tra có điều kiện riêng lẻ tính trung bình - và tôi còn lại với lỗi kiểm tra dự kiến; mà, một lần nữa, là tất cả những gì tôi có thể nghĩ đến muốn có được. trong xác thực chéo K-Fold) - sự thay đổi trong các lỗi kiểm tra có điều kiện riêng lẻ tính trung bình - và tôi còn lại với lỗi kiểm tra dự kiến; mà, một lần nữa, là tất cả những gì tôi có thể nghĩ đến muốn có được.
Đặt khác nhau, trong các biểu đồ lỗi kiểm tra / lỗi kiểm tra dự kiến trong Hastie và cộng sự, chúng tôi có ý tưởng về hiệu quả của trình ước lượng mô hình: nếu các lỗi kiểm tra có điều kiện được phân tán rộng rãi xung quanh lỗi kiểm tra dự kiến thì đây là dấu hiệu của trình ước tính là không hiệu quả, trong khi ít thay đổi trong các lỗi kiểm tra có điều kiện sẽ chỉ ra một công cụ ước tính hiệu quả hơn, với số lượng quan sát.
Điểm mấu chốt: Tôi có thể bị nhầm lẫn ở đây, và tôi rất vui khi được sửa chữa điều này, nhưng khi tôi thấy nó tại thời điểm đó, khái niệm về lỗi kiểm tra có điều kiện là một nỗ lực đáng ngờ trong việc đánh giá tính hợp lệ của mô hình bên ngoài thông qua việc cho phép bản thân chỉ được đào tạo / bắn thử phân vùng. Đối với các mẫu lớn, lần chụp đơn này phải tương đương với các lỗi kiểm tra theo phương pháp trung bình trên nhiều ảnh chụp phân vùng thử nghiệm / phân vùng, tức là lỗi kiểm tra dự kiến. Đối với các mẫu nhỏ có sự khác biệt xảy ra, số đo quan tâm thực tế dường như là mong đợi và không phải là lỗi kiểm tra có điều kiện.