Khi nào tôi nên lo lắng về nghịch lý Jeffreys-Lindley trong lựa chọn mô hình Bayes?

Tôi đang xem xét một không gian rộng lớn (nhưng hữu hạn) của các mô hình có độ phức tạp khác nhau mà tôi khám phá bằng cách sử dụng RJMCMC . Ưu tiên trên vectơ tham số cho mỗi mô hình là khá nhiều thông tin.

1. Trong trường hợp nào (nếu có) tôi có nên lo lắng về nghịch lý Jeffreys-Lindley thiên về các mô hình đơn giản hơn khi một trong những mô hình phức tạp hơn sẽ phù hợp hơn?

2. Có ví dụ đơn giản nào nêu bật những vấn đề của nghịch lý trong lựa chọn mô hình Bayes không?

Tôi đã đọc một vài bài báo, cụ thể là blog của Xi'an và blog của Andrew Gelman , nhưng tôi vẫn không hiểu lắm về vấn đề này.

Xin lỗi vì không rõ ràng trên blog của tôi !

Lưu ý: Tôi đã cung cấp một số thông tin cơ bản về lựa chọn mô hình Bayes và nghịch lý Jeffreys-Lindley trong câu trả lời khác trên Cross đã được xác thực.

Nghịch lý Jeffreys-Lindley có liên quan đến sự lựa chọn mô hình Bayes ở chỗ khả năng cận biên trở nên vô nghĩa khi π là một σ biện pháp -finite (ví dụ, một biện pháp với khối lượng vô hạn) chứ không phải là một biện pháp xác suất. Lý do cho sự khó khăn này là khối lượng vô hạn làm cho π và c π không thể phân biệt được với bất kỳ hằng số dương c . Cụ thể, yếu tố Bayes không thể được sử dụng và không nên được sử dụng khi một mô hình được ưu đãi với "phẳng" trước đó.

$$m(x)=\int \pi(\theta) f(x|\theta)\,\text{d}\theta$$ $\pi$$\sigma$$\pi$$\mathfrak{c}\pi$$\mathfrak{c}$

Nghịch lý Jeffreys-Lindley ban đầu sử dụng phân phối bình thường làm ví dụ. Khi so sánh các mô hình và x ~ N ( θ , 1 ) là yếu tố Bayes là B 12 = exp { - n ( ˉ x n ) 2 / 2

$$x\sim\mathcal{N}(0,1)$$ $$x\sim\mathcal{N}(\theta,1)$$ Nó cũng được định nghĩa khiπlà một thích hợp trước nhưng nếu bạn mất một bình thường trướcN(0,τ2)trênθvà đểτđi đến vô cùng, mẫu số đi vào bằng không đối với bất kỳ giá trị của ˉ x nkhác nhau từ zero và bất kỳ giá trị nào củan. (Trừ khiτvàncó liên quan, nhưng điều này trở nên phức tạp hơn nữa!) Nếu thay vào đó bạn sử dụng trực tiếpπ(θ)=cmàclà một hằng số nhất thiết tùy ý, các yếu tố Bayes $$\mathfrak{B}_{12}=\dfrac{\exp\{-n(\bar{x}_n)^2/2\}}{\int_{-\infty}^{+\infty}\exp\{-n(\bar{x}_n-\theta)^2/2\}\pi(\theta)\,\text{d}\theta}$$ $\pi$$\mathcal{N}(0,\tau^2)$$\theta$$\tau$$\bar{x}_n$$n$$\tau$$n$ $$\pi(\theta)=\mathfrak{c}$$ $\mathfrak{c}$ sẽ là B 12 = exp { - n ( ˉ x n ) 2 / 2 $\mathfrak{B}_{12}$ do đó phụ thuộc trực tiếp vàoc. $$\mathfrak{B}_{12}=\dfrac{\exp\{-n(\bar{x}_n)^2/2\}}{\mathfrak{c}\int_{-\infty}^{+\infty}\exp\{-n(\bar{x}_n-\theta)^2/2\}\,\text{d}\theta}=\dfrac{\exp\{-n(\bar{x}_n)^2/2\}}{\mathfrak{c}\sqrt{2\pi/n}}$$ $\mathfrak{c}$

Bây giờ, nếu các linh mục của bạn có nhiều thông tin (và do đó thích hợp), không có lý do gì cho nghịch lý Jeffreys-Lindley xảy ra. Với số lượng quan sát đủ, yếu tố Bayes sẽ liên tục chọn mô hình tạo dữ liệu. (Hay chính xác hơn là mô hình trong bộ sưu tập các mô hình được xem xét để lựa chọn mô hình gần nhất với mô hình "thật" đã tạo ra dữ liệu.)