Tính toán các khoảng dự đoán khi sử dụng xác nhận chéo

Các ước tính độ lệch chuẩn được tính thông qua:

$s_N = \sqrt{\frac{1}{N} \sum_{i=1}^N (x_i - \overline{x})^2}.$

( http://en.wikipedia.org/wiki/Stiteria_deviation#Sample_stiteria_deviation )

cho độ chính xác dự đoán được lấy mẫu từ xác nhận chéo 10 lần? Tôi lo ngại rằng độ chính xác dự đoán được tính giữa mỗi lần gấp là phụ thuộc do sự chồng chéo đáng kể giữa các bộ huấn luyện (mặc dù các bộ dự đoán là độc lập). Bất kỳ tài nguyên nào thảo luận về điều này sẽ rất hữu ích.

Tôi lo ngại rằng độ chính xác dự đoán được tính giữa mỗi lần gấp là phụ thuộc do sự chồng chéo đáng kể giữa các bộ huấn luyện (mặc dù các bộ dự đoán là độc lập).

IMHO sự chồng chéo giữa các bộ đào tạo không cần phải là một mối quan tâm lớn ở đây. Đó là, tất nhiên điều quan trọng là kiểm tra xem các mô hình có ổn định hay không. Ổn định ngụ ý rằng các dự đoán của các mô hình thay thế xác thực chéo là tương đương (nghĩa là một trường hợp độc lập sẽ có cùng dự đoán với tất cả các mô hình đó), và trên thực tế, tất cả đều xác nhận sự tương đương không chỉ giữa các mô hình thay thế mà còn với mô hình được đào tạo trên tất cả các trường hợp. Vì vậy, sự phụ thuộc này là một hệ quả của những gì chúng ta muốn có.

$n$

Hậu quả so với thử nghiệm với một bộ thử nghiệm độc lập là gì?

• Các ước tính xác thực chéo có thể có phương sai cao hơn so với thử nghiệm mô hình cuối cùng với một bộ thử nghiệm độc lập có cùng kích thước, bởi vì ngoài phương sai do các trường hợp thử nghiệm, chúng tôi phải đối mặt với phương sai do sự không ổn định của các mô hình thay thế.

• Tuy nhiên, nếu các mô hình ổn định, phương sai này là nhỏ / không đáng kể. Hơn nữa, loại ổn định này có thể được đo.

• Điều không thể đo lường là mức độ đại diện của toàn bộ tập dữ liệu được so sánh với dân số được rút ra từ đó. Điều này bao gồm một phần sai lệch của mô hình cuối cùng (tuy nhiên, một bộ thử nghiệm độc lập nhỏ có thể có sai lệch) và điều đó có nghĩa là phương sai tương ứng không thể được ước tính bằng xác nhận chéo.

• Trong thực tiễn ứng dụng (hiệu suất của mô hình được đào tạo trên các dữ liệu này ), phép tính khoảng dự đoán sẽ đối mặt với các vấn đề mà IMHO quan trọng hơn phần nào của xác thực chéo phương sai có thể phát hiện: vd

  • xác nhận chéo không thể kiểm tra hiệu suất cho các trường hợp độc lập về thời gian (dự đoán thường là cần thiết cho các trường hợp được đo trong tương lai)
  • dữ liệu có thể chứa các cụm không xác định và hiệu suất ngoài cụm có thể quan trọng. Dữ liệu phân cụm nằm trong một số thứ mà bạn có thể tính đến khi xác thực chéo, nhưng bạn cần biết về phân cụm.

  Đây không chỉ là một xác thực chéo so với điều kiện thiết lập thử nghiệm độc lập: về cơ bản, bạn cần phải ngồi xuống và thiết kế một nghiên cứu xác nhận, nếu không, có nguy cơ cao rằng bộ thử nghiệm "độc lập" không hoàn toàn độc lập. Một khi điều đó được thực hiện, người ta có thể nghĩ về những yếu tố có khả năng có tầm quan trọng thực tế và có thể bị bỏ qua. Bạn có thể đi đến kết luận rằng sau khi xem xét kỹ lưỡng, định giá chéo là đủ tốt và điều hợp lý để làm vì xác nhận độc lập sẽ quá đắt so với mức tăng thông tin có thể.

$s_{CV}$$RMSE_{CV}$