Xác thực chéo so với Bayes theo kinh nghiệm để ước tính siêu đường kính

Đưa ra một mô hình phân cấp , tôi muốn một quy trình hai giai đoạn để phù hợp với mô hình. Đầu tiên, sửa một số siêu đường kính và sau đó thực hiện suy luận Bayes trên phần còn lại của các tham số . Để sửa chữa các siêu đường kính, tôi đang xem xét hai lựa chọn.θ $p(x|\phi,\theta)$$\theta$$\phi$

1. Sử dụng Empirical Bayes (EB) và tối đa hóa khả năng cận biên (tích hợp phần còn lại của mô hình có chứa các tham số chiều cao).$p(\mbox{all data}|\theta)$
2. Sử dụng các kỹ thuật Xác thực chéo (CV) như xác thực chéo để chọn tối đa hóa khả năng .θ p ( dữ liệu thử nghiệm | dữ liệu đào tạo , θ $k$$\theta$$p(\mbox{test data}|\mbox{training data}, \theta)$

Ưu điểm của EB là tôi có thể sử dụng tất cả dữ liệu cùng một lúc, trong khi đối với CV tôi cần (có khả năng) tính toán khả năng của mô hình nhiều lần và tìm kiếm . Hiệu suất của EB và CV tương đương nhau trong nhiều trường hợp (*) và thường thì EB sẽ nhanh hơn để ước tính.$\theta$

Câu hỏi: Có một nền tảng lý thuyết nào liên kết cả hai (giả sử EB và CV giống nhau trong giới hạn của dữ liệu lớn) không? Hoặc liên kết EB với một số tiêu chí chung chung như rủi ro thực nghiệm? Ai đó có thể chỉ ra một tài liệu tham khảo tốt?

(*) Như một minh họa, đây là một số liệu từ Murphy Machine Learning , Phần 7.6.4, trong đó ông nói rằng đối với hồi quy sườn, cả hai quy trình đều cho kết quả rất giống nhau:

Murphy cũng nói rằng lợi thế thực tế chính của Bayes theo kinh nghiệm (ông gọi đó là "thủ tục bằng chứng") so với CV là khi bao gồm nhiều siêu tham số (ví dụ: hình phạt riêng cho từng tính năng, như xác định mức độ phù hợp tự động hoặc ARD). Ở đó không thể sử dụng CV.$\theta$

Tôi nghi ngờ sẽ có một liên kết lý thuyết nói rằng tối đa hóa CV và bằng chứng là tương đương về mặt triệu chứng vì bằng chứng cho chúng ta biết xác suất của dữ liệu đưa ra các giả định của mô hình . Do đó, nếu mô hình được chỉ định sai, thì bằng chứng có thể không đáng tin cậy. Mặt khác, xác thực chéo đưa ra ước tính xác suất của dữ liệu, cho dù các giả định mô hình hóa có chính xác hay không. Điều này có nghĩa là bằng chứng có thể là một hướng dẫn tốt hơn nếu các giả định mô hình là chính xác khi sử dụng ít dữ liệu hơn, nhưng xác thực chéo sẽ mạnh mẽ chống lại đặc tả sai của mô hình. CV là không thiên vị, nhưng tôi cho rằng bằng chứng không trừ khi các giả định mô hình xảy ra là chính xác.

Đây thực chất là trực giác / kinh nghiệm của tôi; Tôi cũng sẽ được quan tâm để nghe về nghiên cứu về điều này.

Lưu ý rằng đối với nhiều mô hình (ví dụ hồi quy sườn, quy trình Gaussian, hồi quy sườn hạt nhân / LS-SVM, v.v.) xác thực chéo một lần có thể được thực hiện ít nhất là hiệu quả như ước tính bằng chứng, do đó không nhất thiết phải tính toán lợi thế đấy.

Phụ lục: Cả khả năng biên xác suất và ước tính hiệu suất chéo được đánh giá qua một mẫu dữ liệu hữu hạn và do đó luôn có khả năng phù hợp quá mức nếu một mô hình được điều chỉnh bằng cách tối ưu hóa một trong hai tiêu chí. Đối với các mẫu nhỏ, sự khác biệt về phương sai của hai tiêu chí có thể quyết định loại nào hoạt động tốt nhất. Xem giấy của tôi

Gavin C. Cawley, Nicola LC Talbot, "Về sự phù hợp quá mức trong lựa chọn mô hình và xu hướng lựa chọn tiếp theo trong đánh giá hiệu suất", Tạp chí nghiên cứu máy học, 11 (tháng 7): 2079−2107, 2010 ( pdf )

$k$$k$