Giải quyết sự không chắc chắn của mô hình

25

Tôi đã tự hỏi làm thế nào những người Bayes trong cộng đồng CrossValidated nhìn nhận vấn đề về sự không chắc chắn của mô hình và cách họ thích đối phó với nó? Tôi sẽ cố gắng đặt ra câu hỏi của tôi trong hai phần:

Làm thế nào quan trọng (theo kinh nghiệm / ý kiến của bạn) là đối phó với sự không chắc chắn của mô hình? Tôi chưa tìm thấy bất kỳ bài báo nào liên quan đến vấn đề này trong cộng đồng học máy, vì vậy tôi chỉ thắc mắc tại sao.
Các cách tiếp cận phổ biến để xử lý sự không chắc chắn của mô hình (điểm thưởng nếu bạn cung cấp tài liệu tham khảo) là gì? Tôi đã nghe nói về mô hình Bayes trung bình, mặc dù tôi không quen với các kỹ thuật / giới hạn cụ thể của phương pháp này. Một số người khác là gì và tại sao bạn thích cái này hơn cái khác?

machine-learning bayesian model-selection

— Nick
nguồn

1

Một phương pháp ít phổ biến hơn (nhưng với mức độ phổ biến ngày càng tăng) là Quy tắc chấm điểm đánh giá hiệu suất dự đoán của các mô hình.

17

Có hai trường hợp phát sinh trong việc xử lý lựa chọn mô hình:

Khi mô hình thực sự thuộc về không gian mô hình.

Điều này rất đơn giản để đối phó với việc sử dụng BIC . Có kết quả cho thấy BIC sẽ chọn mô hình thực sự với xác suất cao.

Tuy nhiên, trong thực tế, rất hiếm khi chúng ta biết mô hình thực sự. Tôi phải nhận xét BIC có xu hướng bị sử dụng sai vì điều này (lý do có thể là nó trông giống như AIC ) . Những vấn đề này đã được giải quyết trên diễn đàn này trước đây dưới nhiều hình thức. Một cuộc thảo luận tốt ở đây .

Khi mô hình thực sự không nằm trong không gian mô hình.

Đây là một lĩnh vực nghiên cứu tích cực trong cộng đồng Bayes. Tuy nhiên, người ta xác nhận rằng mọi người biết rằng sử dụng BIC làm tiêu chí lựa chọn mô hình trong trường hợp này là nguy hiểm. Tài liệu gần đây trong phân tích dữ liệu chiều cao cho thấy điều này. Một ví dụ như vậy là đây . Yếu tố Bayes chắc chắn thực hiện tốt đáng ngạc nhiên trong kích thước cao. Một số sửa đổi của BIC đã được đề xuất, chẳng hạn như mBIC, nhưng không có sự đồng thuận. RJMCMC của Green là một cách phổ biến khác để thực hiện lựa chọn mô hình Bayes, nhưng nó có những đoạn ngắn riêng. Bạn có thể theo dõi thêm về điều này.

Có một trại khác trong thế giới Bayes khuyên bạn nên lấy trung bình mô hình. Đáng chú ý là, Tiến sĩ Raftery.

Mô hình Bayes trung bình.

Trang web này của Chris Volinksy là một nguồn trung bình của mô hình Bayes trung bình. Một số tác phẩm khác đang ở đây .

Một lần nữa, lựa chọn mô hình Bayes vẫn là một lĩnh vực nghiên cứu tích cực và bạn có thể nhận được những câu trả lời rất khác nhau tùy thuộc vào người bạn hỏi.

— suncoolsu
nguồn

\log | A_{n} | \approx \log | n A_{1} | = p \log n + \log | A_{1} |

$\log|A_n|\approx\log|nA_1|=p\log n+\log|A_1|$

A_{n}

$A_n$

A_{1}

$A_1$

\log | A_{1} | = O (1)

$\log|A_1|=O(1)$

đó cũng có thể là do phép tính gần đúng Laplace hoạt động kém như vậy

— xác suất

11

Một Bayes "thực sự" sẽ đối phó với sự không chắc chắn của mô hình bằng cách đặt lề (tích hợp) trên tất cả các mô hình hợp lý. Vì vậy, ví dụ trong bài toán hồi quy đường thẳng tuyến tính, bạn sẽ vượt qua các tham số hồi quy (sẽ có một hậu tố Gaussian, do đó, nó có thể được thực hiện bằng phương pháp phân tích), nhưng sau đó vượt qua các siêu âm (mức nhiễu và tham số chính quy) thông qua MCMC phương pháp.

Một giải pháp Bayes "nhỏ hơn" sẽ là làm cho lề các tham số mô hình, nhưng để tối ưu hóa các tham số siêu bằng cách tối đa hóa khả năng cận biên (còn được gọi là "bằng chứng Bayes") cho mô hình. Tuy nhiên, điều này có thể dẫn đến sự phù hợp quá mức so với dự kiến (xem Cawley và Talbot ). Xem công việc của David MacKay để biết thông tin về tối đa hóa bằng chứng trong học máy. Để so sánh, hãy xem công việc của Radford Neal về cách tiếp cận "tích hợp mọi thứ" với các vấn đề tương tự. Lưu ý rằng khung bằng chứng rất tiện dụng cho các tình huống tích hợp quá tốn kém về mặt tính toán, do đó có phạm vi cho cả hai phương pháp.

Hiệu quả Bayesian tích hợp hơn là tối ưu hóa. Lý tưởng nhất, chúng tôi sẽ nêu niềm tin trước đây của chúng tôi về các đặc điểm của giải pháp (ví dụ như độ mịn) và đưa ra dự đoán một cách rõ ràng mà không thực sự tạo ra một mô hình. Các "mô hình" quy trình Gaussian được sử dụng trong học máy là một ví dụ về ý tưởng này, trong đó hàm hiệp phương sai mã hóa niềm tin trước đây của chúng tôi về giải pháp. Xem cuốn sách tuyệt vời của Rasmussen và Williams .

Đối với người Bayes thực tế, luôn có sự xác nhận chéo, thật khó để đánh bại hầu hết mọi thứ!

— Sao Hỏa Dikran
nguồn

11

Một trong những điều thú vị tôi tìm thấy trong thế giới "Mô hình không chắc chắn" là khái niệm về "mô hình thực sự". Điều này có nghĩa là "các đề xuất mô hình" của chúng ta có dạng:

M_{i}^{(1)} : The ith model is the true model

$M_i^{(1)}:\text{The ith model is the true model}$

$P(M_i^{(1)}|DI)$ $M_i^{(1)}$

Khả năng xả là rất quan trọng ở đây, bởi vì điều này đảm bảo xác suất thêm vào 1, có nghĩa là chúng ta có thể gạt ra khỏi mô hình.

Nhưng đây là tất cả ở cấp độ khái niệm - trung bình mô hình có hiệu suất tốt. Vì vậy, điều này có nghĩa là phải có một khái niệm tốt hơn.

Cá nhân, tôi xem các mô hình như các công cụ, như búa hay máy khoan. Mô hình là các cấu trúc tinh thần được sử dụng để đưa ra dự đoán về hoặc mô tả những thứ chúng ta có thể quan sát. Nghe có vẻ rất kỳ quặc khi nói về một "cây búa thực sự", và cũng không kém phần thú vị khi nói về một "cấu trúc tinh thần thực sự". Dựa trên điều này, khái niệm về một "người mẫu thực sự" có vẻ kỳ lạ đối với tôi. Có vẻ tự nhiên hơn nhiều khi nghĩ về mô hình "tốt" và mô hình "xấu", thay vì mô hình "đúng" và mô hình "sai".

Theo quan điểm này, chúng ta cũng có thể không chắc chắn về mô hình "tốt nhất" để sử dụng, từ một lựa chọn các mô hình. Vì vậy, giả sử chúng ta thay vì lý do về sự ủng hộ:

M_{i}^{(2)} : Out of all the models that have been specified,

$M_i^{(2)}:\text{Out of all the models that have been specified,}$

the ith model is best model to use

$\text{the ith model is best model to use}$

$M_{i}^{(2)}$ $M_{i}^{(2)}$

Tuy nhiên, trong phương pháp này, bạn cần một số mức độ tốt của thước đo phù hợp, để đánh giá mức độ tốt nhất của mô hình "tốt nhất" của bạn. Điều này có thể được thực hiện theo hai cách, bằng cách thử nghiệm các mô hình "điều chắc chắn", tương đương với số liệu thống kê GoF thông thường (phân kỳ KL, bình phương, v.v.). Một cách khác để đánh giá điều này là đưa một mô hình cực kỳ linh hoạt vào lớp mô hình của bạn - có lẽ là mô hình hỗn hợp thông thường với hàng trăm thành phần hoặc hỗn hợp quy trình Dirichlet. Nếu mô hình này xuất hiện là tốt nhất, thì có khả năng các mô hình khác của bạn không đầy đủ.

Bài viết này có một cuộc thảo luận lý thuyết tốt, và từng bước, một ví dụ về cách bạn thực sự lựa chọn mô hình.

— xác suất
nguồn

+1 lớn. Rất chu đáo, phân tích rõ ràng.

— whuber

Câu trả lời chính xác. Tôi nên đề cập rằng đánh giá từ một lớp người mẫu cụ thể, BIC là tuyệt vời. Tuy nhiên, hầu hết các lần, như bạn đề cập, mô hình thực sự nằm ngoài không gian mô hình. Sau đó, một lần nữa như bạn đề cập, sự gần gũi giữa mô hình thực và "mô hình tốt nhất" có ý nghĩa. Đây là những câu trả lời AIC và các IC khác cố gắng trả lời. BMA hoạt động, nhưng nó cũng cho thấy không hoạt động. Điều này không có nghĩa là xấu, nhưng chúng ta nên cẩn thận khi nghĩ về nó như một sự thay thế phổ quát.

— suncoolsu

1

C R A P = C R A P = \frac{1}{N} \sum_{i = 1}^{N} C R A P_{i}

$CRAP=CRAP=\frac{1}{N}\sum_{i=1}^{N} CRAP_i$

4

Tôi biết mọi người sử dụng yếu tố DIC và Bayes, như suncoolsu nói. Và tôi đã thích thú khi anh ấy nói "Có kết quả cho thấy BIC sẽ chọn mô hình thực sự với xác suất cao" (tài liệu tham khảo?). Nhưng tôi sử dụng điều duy nhất tôi biết, đó là kiểm tra dự đoán sau, do Andrew Gelman vô địch. Nếu bạn google Andrew Gelman và kiểm tra dự đoán sau, bạn sẽ tìm thấy rất nhiều thứ. Và tôi sẽ xem Christian Robert đang viết gì trên ABC về sự lựa chọn người mẫu . Trong mọi trường hợp, đây là một số tài liệu tham khảo tôi thích và một số bài đăng gần đây trong blog của Gelman:

Blog

DIC và AIC ; Thêm về DIC . Kiểm tra mô hình và xác nhận bên ngoài

Giấy tờ về kiểm tra dự báo sau:

GELMAN, Andrew. (2003a). Công thức phân tích dữ liệu khám phá và đánh giá mức độ phù hợp của Bayesian. Đánh giá thống kê quốc tế, tập. 71, n.2, trang 389-382.

GELMAN, Andrew. (2003b). Phân tích dữ liệu khám phá của các mô hình phức tạp. Tạp chí thống kê tính toán và đồ họa, tập. 13, n. 4, trang 755/779.

GELMAN, Andrew; MECHELEN, Iven Vân; XÁC MINH, Geert; HEITJAN, Daniel F.; PHƯƠNG TIỆN, Michel. (2005). Cuộc tranh luận nhiều lần để kiểm tra mô hình: Các lô dữ liệu đã hoàn thành với dữ liệu bị thiếu và tiềm ẩn. Sinh trắc học 61, 74 Thẻ85, Tháng 3

GELMAN, Andrew; MENG, Xiao-Li; Stern, Hal. (1996). Đánh giá dự đoán trước về sức khỏe của người mẫu thông qua sự khác biệt được thực hiện. Statistica Sinica, 6, trang 733-807.

— Manoel Galdino
nguồn