Biện minh theo kinh nghiệm cho một quy tắc lỗi tiêu chuẩn khi sử dụng xác thực chéo

Có bất kỳ nghiên cứu thực nghiệm nào biện minh cho việc sử dụng một quy tắc lỗi tiêu chuẩn có lợi cho phân tích không? Rõ ràng nó phụ thuộc vào quá trình tạo dữ liệu của dữ liệu, nhưng bất cứ điều gì phân tích một khối lượng lớn các bộ dữ liệu sẽ là một cách đọc rất thú vị.

"Một quy tắc lỗi tiêu chuẩn" được áp dụng khi chọn các mô hình thông qua xác thực chéo (hoặc nói chung hơn thông qua bất kỳ quy trình dựa trên ngẫu nhiên hóa nào).

Giả sử chúng ta xem xét mô hình được lập chỉ mục bởi một tham số phức tạp τ ∈ R , sao cho M τ là "phức tạp" hơn M τ ' chính xác khi nào τ > τ ' . Giả sử thêm rằng chúng tôi đánh giá chất lượng của một mô hình M bằng một số quy trình ngẫu nhiên, ví dụ, xác thực chéo. Đặt q ( M ) biểu thị chất lượng "trung bình" của M , ví dụ: lỗi dự đoán tiền túi trung bình trong nhiều lần chạy xác thực chéo. Chúng tôi muốn giảm thiểu số lượng này.$M_\tau$$\tau\in\mathbb{R}$$M_\tau$$M_{\tau'}$$\tau>\tau'$$M$$q(M)$$M$

Tuy nhiên, vì thước đo chất lượng của chúng tôi xuất phát từ một số thủ tục ngẫu nhiên, nó đi kèm với sự thay đổi. Gọi biểu thị lỗi tiêu chuẩn về chất lượng của M trong các lần chạy ngẫu nhiên, ví dụ: độ lệch chuẩn của lỗi dự đoán ngoài túi của M so với các lần chạy xác thực chéo.$s(M)$$M$$M$

Sau đó, chúng tôi chọn mô hình , nơi τ là nhỏ nhất τ như vậy$M_\tau$$\tau$$\tau$

$\tau'$$q(M_{\tau'})=\min_\tau q(M_\tau)$

Đó là, chúng tôi chọn mô hình đơn giản nhất ( nhỏ nhất ) không có nhiều hơn một lỗi tiêu chuẩn tồi tệ hơn mô hình tốt nhất trong quy trình ngẫu nhiên.$\tau$$M_{\tau'}$

Tôi đã tìm thấy "một quy tắc lỗi tiêu chuẩn" được đề cập ở những nơi sau đây, nhưng không bao giờ với bất kỳ lời biện minh rõ ràng nào:

• Trang 80 trong phân loại và cây hồi quy của Breiman, Friedman, Stone & Olshen (1984)
• Trang 415 trong Ước tính Số Clusters trong Tập dữ liệu thông qua Gap Thống kê bởi Tibshirani, Walther & Hastie ( JRSS B , 2001) (tham khảo Breiman et al.)
• Trang 61 và 244 về các yếu tố của học thống kê của Hastie, Tibshirani & Friedman (2009)
• Trang 13 trong Học tập thống kê với độ thưa thớt của Hastie, Tibshirani & Wainwright (2015)

Sau đây không phải là một nghiên cứu thực nghiệm , đó là lý do tại sao ban đầu tôi muốn đăng nó dưới dạng một bình luận, không phải là một câu trả lời - nhưng nó thực sự quá dài cho một bình luận.

Cawley & Talbot ( J of Machine Learning Research , 2010) thu hút sự chú ý về sự khác biệt giữa quá mức trong giai đoạn lựa chọn mô hình và quá mức trong giai đoạn phù hợp mô hình.

Loại quá mức thứ hai là thứ mà hầu hết mọi người đều quen thuộc: được đưa ra một mô hình cụ thể, chúng tôi không muốn điều chỉnh quá mức, nghĩa là để phù hợp với nó quá chặt chẽ với các đặc điểm riêng của tập dữ liệu duy nhất mà chúng ta thường có. ( Đây là nơi thu hẹp / chính quy hóa có thể giúp đỡ, bằng cách giao dịch một sự gia tăng nhỏ về độ lệch so với mức giảm lớn của phương sai. )

Tuy nhiên, Cawley & Talbot lập luận rằng chúng ta có thể tập luyện quá sức trong giai đoạn lựa chọn mô hình. Rốt cuộc, chúng ta vẫn chỉ có một bộ dữ liệu duy nhất và chúng ta đang quyết định giữa các mô hình khác nhau có độ phức tạp khác nhau. Đánh giá từng mô hình ứng cử viên để chọn một mô hình thường liên quan đến việc phù hợp với mô hình đó, có thể được thực hiện bằng cách sử dụng chính quy hay không. Nhưng bản thân sự đánh giá này lại là một biến ngẫu nhiên, bởi vì nó phụ thuộc vào tập dữ liệu cụ thể mà chúng ta có. Vì vậy, sự lựa chọn của chúng tôi về một mô hình "tối ưu" có thể tự nó thể hiện thành kiến ​​và sẽ biểu hiện một phương sai, tùy thuộc vào tập dữ liệu cụ thể từ tất cả các tập dữ liệu mà chúng tôi có thể rút ra từ dân số.

Do đó, Cawley & Talbot lập luận rằng chỉ cần chọn mô hình hoạt động tốt nhất trong đánh giá này cũng có thể là quy tắc lựa chọn với độ lệch nhỏ - nhưng nó có thể thể hiện phương sai lớn. Nghĩa là, với các bộ dữ liệu huấn luyện khác nhau từ cùng một quy trình tạo dữ liệu (DGP), quy tắc này có thể chọn các mô hình rất khác nhau, sau đó sẽ được trang bị và sử dụng để dự đoán trong các bộ dữ liệu mới theo cùng DGP. Trong ánh sáng này, việc hạn chế phương sai của quy trình lựa chọn mô hình nhưng phát sinh sai lệch nhỏ đối với các mô hình đơn giản hơn có thể dẫn đến các lỗi ngoài mẫu nhỏ hơn.

Cawley & Talbot không kết nối điều này rõ ràng với một quy tắc lỗi tiêu chuẩn và phần của họ về "lựa chọn mô hình chính quy" là rất ngắn. Tuy nhiên, một quy tắc lỗi tiêu chuẩn sẽ thực hiện chính xác quy trình chính quy này và tính đến mối quan hệ giữa phương sai trong lựa chọn mô hình và phương sai của lỗi xác thực chéo ngoài túi.

Ví dụ, bên dưới là Hình 2.3 từ Học thống kê với độ thưa thớt của Hastie, Tibshirani & Wainwright (2015) . Phương sai lựa chọn mô hình được đưa ra bởi độ lồi của đường màu đen ở mức tối thiểu. Ở đây, mức tối thiểu không được phát âm rõ ràng và đường thẳng khá lồi, do đó việc lựa chọn mô hình có thể không chắc chắn với phương sai cao. Và phương sai của ước tính lỗi OOB CV tất nhiên được đưa ra bởi nhiều đường màu xanh nhạt biểu thị các lỗi tiêu chuẩn.

Để chứng minh bằng thực nghiệm, hãy xem trang 12 về các ghi chú khóa học khai thác dữ liệu này của Tibshirani , trong đó cho thấy lỗi CV là một chức năng của lambda cho một vấn đề mô hình cụ thể. Gợi ý dường như là, dưới một giá trị nhất định, tất cả lambdas đều đưa ra cùng một lỗi CV. Điều này có ý nghĩa bởi vì, không giống như hồi quy sườn, LASSO thường không chỉ được sử dụng, hoặc thậm chí là chủ yếu, để cải thiện độ chính xác dự đoán. Điểm bán hàng chính của nó là nó làm cho các mô hình đơn giản hơn và dễ hiểu hơn bằng cách loại bỏ các yếu tố dự đoán ít liên quan / có giá trị nhất.

Bây giờ, để hiểu một quy tắc lỗi tiêu chuẩn, chúng ta hãy nghĩ về gia đình của các mô hình mà chúng ta nhận được từ việc thay đổi . Hình của Tibshirani đang nói với chúng ta rằng chúng ta có một loạt các mô hình phức tạp từ trung bình đến cao, giống nhau về độ chính xác dự đoán và một loạt các mô hình có độ phức tạp thấp không tốt để dự đoán. Chúng ta nên chọn cái gì? Chà, nếu chúng tôi đang sử dụng , có lẽ chúng tôi quan tâm đến một mô hình tuyệt vời, vì vậy có lẽ chúng tôi thích mô hình đơn giản nhất giải thích dữ liệu của chúng tôi một cách hợp lý, để diễn giải Einstein. Vậy làm thế nào về mô hình phức tạp thấp nhất "tốt như" như tất cả các mô hình phức tạp cao đó? Và một cách tốt để đo lường "về như là tốt" là gì? Một lỗi tiêu chuẩn.$\lambda$$L_1$

Số lượng biến được chọn bởi công cụ ước tính Lasso được quyết định bởi giá trị hình phạt . Cái lớn hơn là , cái nhỏ hơn là tập hợp các biến được chọn. Đặt là tập hợp các biến được chọn bằng cách sử dụng như hình phạt . $\lambda$$\lambda$$\hat S(\lambda)$$\lambda$

Đặt là hình phạt được chọn bằng cách sử dụng tối thiểu chức năng xác thực chéo. Có thể chứng minh rằng . Trong đó là tập hợp các biến thực sự không 0. (Tập hợp biến thực là nội dung đúng trong tập được ước tính sử dụng dưới dạng phạt tối thiểu của xác thực chéo.)$\lambda^ \star$$P(S_0 \subset \hat S(\lambda^\star))\rightarrow 1$$S_0$

Điều này cần được báo cáo trong Thống kê dữ liệu chiều cao của Bühlmann và van de Geer.

Giá trị hình phạt thường được chọn thông qua xác nhận chéo; điều này có nghĩa là với xác suất cao, có quá nhiều biến được chọn. Để giảm số lượng biến được chọn, hình phạt được tăng lên một chút bằng cách sử dụng quy tắc một lỗi tiêu chuẩn.$\lambda$