Bayes yếu tố với linh mục không đúng

Tôi có một câu hỏi liên quan đến so sánh mô hình bằng cách sử dụng các yếu tố Bayes. Trong nhiều trường hợp, các nhà thống kê quan tâm đến việc sử dụng phương pháp Bayes với các linh mục không phù hợp (ví dụ như một số linh mục Jeffreys và các linh mục tham khảo).

Câu hỏi của tôi là, trong những trường hợp phân phối sau của các tham số mô hình được xác định rõ, liệu có hợp lệ để so sánh các mô hình sử dụng các yếu tố Bayes dưới việc sử dụng các linh mục không đúng?

Như một ví dụ đơn giản, hãy xem xét việc so sánh một mô hình Bình thường với một mô hình Logistic với các linh mục Jeffreys.

bayesian model-selection prior

— Jeffrey
nguồn

Một ưu tiên không phù hợp đóng vai trò của "trước không phù hợp". Nếu bạn đang ở trong một viễn cảnh "không có niềm tin trước" thì rõ ràng bạn không thể chỉ định một xác suất trước cho một mô hình. Tuy nhiên, có một số bài viết của Berger và các tác giả khác về khái niệm "các yếu tố Bayes nội tại"; điều này nghe có vẻ như yếu tố Bayes với các linh mục không thông tin nhưng tôi không thể nói nhiều hơn vì tôi chưa bao giờ đọc những bài báo này. Có lẽ còn tồn tại các phương pháp "lựa chọn mô hình Bayes khách quan" khác (nhập các thuật ngữ này vào Google mang lại một số bài viết của Berger).

— Stéphane Laurent

@ StéphaneLaurent Việc giải thích trước về các tham số khác với xác suất trước của mô hình. Điều này có thể được nhìn thấy từ biểu thức chung cho yếu tố Bayes. Bạn cũng có thể gán các mục sư thống nhất cho các mô hình, không chính xác trước các tham số và xem dữ liệu cho bạn biết một posteriori .

— Jeffrey

Tôi khuyên bạn nên đọc Tiêu chí lựa chọn mô hình Bayes với ứng dụng cho lựa chọn biến (AoS, 2012), đặc biệt là Bổ đề 1. Về cơ bản, các linh mục không phù hợp có thể được sử dụng cho các tham số không phổ biến.

Không. Mặc dù các linh mục không phù hợp có thể ổn cho việc ước tính tham số trong một số trường hợp nhất định (do định lý Bernstein của von Mise ), nhưng chúng không phải là không có để so sánh mô hình, do cái gọi là nghịch lý bên lề .

Vấn đề, như tên gọi của nó, là phân phối biên của phân phối không phù hợp không được xác định rõ. Đưa ra khả năng và trước : yếu tố Bayes yêu cầu tính toán khả năng cận biên : $p_1(x \mid \theta)$ $p_1(\theta)$

p_{1} (x) = \int_{Θ} p_{1} (x ∣ θ) p_{1} (θ) d θ .

$p_1(x) = \int_\Theta p_1(x \mid \theta) p_1(\theta) d \theta .$

Nếu bạn nghĩ về một điều không đúng trước khi chỉ được biết đến theo tỷ lệ (ví dụ ), thì vấn đề là sẽ được nhân với một hằng số chưa biết. Trong một yếu tố Bayes, bạn sẽ tính toán tỷ lệ của một thứ gì đó với hằng số chưa biết. $p_1(\theta) \propto 1$ $p_1(x)$

Một số tác giả, đặc biệt là ET Jaynes, cố gắng khắc phục điều này bằng cách định nghĩa các linh mục không phù hợp là giới hạn của một chuỗi các linh mục phù hợp: vấn đề là có thể có hai trình tự giới hạn khác nhau sau đó đưa ra các câu trả lời khác nhau.

— Simon Byrne
nguồn

Cảm ơn về câu trả lời của bạn. Có thể tránh được vấn đề về hằng số tỷ lệ bằng cách sử dụng cùng một thông số không chính xác trước các thông số chung, chẳng hạn như tham số vị trí và tỷ lệ, như được đề cập trong Lựa chọn Bayes Trang 349. Nếu tôi hiểu đúng, nghịch lý bên lề chỉ áp dụng cho các linh mục có cấu trúc nhất định.

— Jeffrey

Vấn đề sẽ là các trường hợp không thực tế sẽ chiếm ưu thế: nếu bạn có đồng phục trước thông số vị trí của mình, bạn sẽ đặt trọng lượng gấp 100 lần trong khoảng [100,200], như bạn đã làm trên [0,1] (có vẻ vô lý trong một số trường hợp).

— Simon Byrne

Nhưng điều đáng nói là các linh mục không đúng có thể được giải thích theo thuật ngữ xác suất. Không có trọng lượng như vậy cho rằng việc giải thích xác suất của trước đã không còn vì nó không đúng.

— Jeffrey

Nó không phải là xác suất, nhưng nó vẫn là một thước đo, vì vậy bạn có thể so sánh tương đối (nghĩa là có 100 lần "khối lượng" trong khoảng [100,200] như trên [0,1]).

— Simon Byrne

Tôi nghĩ rằng phân tích này phải được thực hiện ở phía sau hơn là trước. Ví dụ: một số linh mục phù hợp là không phù hợp, chẳng hạn như Độc lập Jeffreys cho trường hợp Bình thường . Bạn có thể áp dụng cách giải thích đó vào điều này trước, nhưng điều này tạo ra các khoảng thời gian sau với các thuộc tính thường xuyên tuyệt vời. Trong trường hợp này, trường hợp không thực tế không chiếm ưu thế. (Nhân tiện, cảm ơn vì cuộc thảo luận)

π (μ, σ) \propto σ^{- 1}

$\pi(\mu,\sigma)\propto \sigma^{-1}$

— Jeffrey