Làm thế nào bạn có thể phát hiện nếu một quá trình Gaussian quá phù hợp?

Tôi đang đào tạo một quy trình Gaussian với hạt nhân ARD với rất nhiều tham số bằng cách tối đa hóa khả năng bảo vệ biên của dữ liệu, thay vì xác thực chéo.

Tôi nghi ngờ rằng nó là quá phù hợp. Làm thế nào tôi có thể kiểm tra sự nghi ngờ này trong bối cảnh Bayes?

machine-learning cross-validation gaussian-process

— nickponline
nguồn

Điều đơn giản nhất cần làm là khớp một quy trình Gaussian với hàm hiệp phương sai không tương đương ARD (thường là RBF) và so sánh tỷ lệ lỗi kiểm tra. Đối với nhiều vấn đề, hàm hiệp phương ARD hoạt động kém hơn hàm hiệp phương sai không ARD do quá khớp trong việc điều chỉnh các tham số siêu. Vì hiệp phương sai RBF là trường hợp đặc biệt của hiệp phương ARD, nếu RBF hoạt động tốt hơn, đó là một dấu hiệu mạnh mẽ cho thấy hạt nhân ARD phù hợp quá mức (bắt đầu tối ưu hóa các hệ số ARD ở các giá trị tối ưu cho hiệp phương RBF tương ứng, đây là nhanh hơn và cũng giúp đảm bảo rằng vấn đề với hiệp phương sai ARD không chỉ là do cực tiểu cục bộ trong khả năng cận biên). Đây là một vấn đề lớn hơn nhiều so với thường được đánh giá cao.

Tôi đã viết một vài bài báo về điều này:

GC Cawley và NLC Talbot, Ngăn chặn sự phù hợp quá mức trong quá trình lựa chọn mô hình thông qua việc chuẩn hóa siêu tham số Bayes, Tạp chí Nghiên cứu Máy học, tập 8, trang 841-861, tháng 4 năm 2007 ( pdf )

và

GC Cawley và NLC Talbot, Quá phù hợp trong lựa chọn mô hình và sai lệch lựa chọn tiếp theo trong đánh giá hiệu suất, Tạp chí Nghiên cứu Máy học, 2010. Nghiên cứu, tập. 11, trang 2079-2107, tháng 7 năm 2010 ( pdf )

Đầu tiên bao gồm một số thử nghiệm với GP, cho thấy sự phù hợp quá mức trong lựa chọn mô hình cũng là một vấn đề đối với các GP với lựa chọn mô hình dựa trên tối đa hóa khả năng tối đa.

Một phân tích kỹ lưỡng hơn sẽ là đánh giá lỗi thử nghiệm của GP ở mỗi bước trong quá trình tối ưu hóa khả năng cận biên. Rất có khả năng bạn sẽ nhận được dấu hiệu hội trường cổ điển về sự phù hợp quá mức, trong đó tiêu chí lựa chọn mô hình đang giảm đơn điệu, nhưng lỗi thử nghiệm ban đầu giảm, nhưng sau đó bắt đầu tăng trở lại vì tiêu chí lựa chọn mô hình được tối ưu hóa quá mức (cf Hình 2a trong bài báo JMLR 2010).

— Sao Hỏa Dikran
nguồn

Cảm ơn tuyệt vời - Tôi đang đọc qua cái đầu tiên bây giờ. Bạn đã tìm ra một cách hiệu quả hơn để thường xuyên hóa lại việc khớp quá mức với các hạt nhân có nhiều tham số như ARD nếu thuật ngữ độ phức tạp của mô hình trong khả năng cận biên không đủ để ngăn chặn quá mức?

— nickponline

Tôi nghi ngờ điều mạnh mẽ nhất cần làm là vượt qua các siêu tham số bằng các phương pháp Markov Chain Monte Carlo. Đối với kích thước của tập dữ liệu mà các GP có xu hướng được sử dụng cho (tối đa vài nghìn mẫu), tôi nghi ngờ việc phù hợp quá mức khả năng cận biên là tất cả nhưng không thể tránh khỏi. Tối ưu hóa IMHO là gốc rễ của mọi tội lỗi trong thống kê, bất cứ khi nào bạn tối ưu hóa bất cứ điều gì bạn có nguy cơ phù hợp quá mức. Cách tiếp cận Bayes tốt hơn nhiều theo nghĩa đó, nhưng thay vào đó bạn gặp rủi ro khó khăn vì các linh mục đã sai :-(

— Dikran Marsupial

@DikranMarsupial Có nghiên cứu mới nhất nào về cách tránh sử dụng quá nhiều phương pháp GP không?

— imsrgadich