Làm thế nào một trước không thích hợp có thể dẫn đến một phân phối sau thích hợp?

Chúng tôi biết rằng trong trường hợp phân phối trước thích hợp,

$P(\theta \mid X) = \dfrac{P(X \mid \theta)P(\theta)}{P(X)}$

$\propto P(X \mid \theta)P(\theta)$ .

Sự biện minh thông thường cho bước này là phân phối biên của , , không đổi đối với và do đó có thể bị bỏ qua khi lấy phân phối sau.P ( X $X$$P(X)$$\theta$

Tuy nhiên, trong trường hợp không đúng trước, làm thế nào để bạn biết rằng phân phối sau thực sự tồn tại? Dường như có một cái gì đó còn thiếu trong cuộc tranh luận dường như tròn này. Nói cách khác, nếu tôi giả sử hậu sinh tồn tại, tôi hiểu cơ chế làm thế nào để lấy được hậu thế, nhưng dường như tôi đang thiếu lý do biện minh cho lý do tại sao nó tồn tại.

Tái bút Tôi cũng nhận ra rằng có những trường hợp trước đó không đúng dẫn đến hậu thế không đúng.

Chúng tôi thường chấp nhận hậu thế từ các linh mục không phù hợp nếu tồn tại và là phân phối xác suất hợp lệ (nghĩa là, nó tích hợp chính xác đến 1 trên hỗ trợ). Về cơ bản, điều này sôi xuống là hữu hạn. Nếu đây là trường hợp, thì chúng ta gọi số lượng này là và chấp nhận nó là phân phối sau mà chúng ta muốn. Tuy nhiên, điều quan trọng cần lưu ý rằng đây KHÔNG phải là phân phối sau, cũng không phải là phân phối xác suất có điều kiện (hai thuật ngữ này đồng nghĩa trong ngữ cảnh ở đây).$\pi(\theta)$

Bây giờ, tôi đã nói rằng chúng tôi chấp nhận phân phối 'hậu thế' từ các linh mục không phù hợp được đưa ra ở trên. Lý do chúng được chấp nhận là vì vẫn sẽ cung cấp cho chúng tôi 'điểm số' tương đối trên không gian tham số; tức là tỷ lệ mang lại ý nghĩa cho phân tích của chúng tôi. Ý nghĩa chúng ta nhận được từ các linh mục không phù hợp trong một số trường hợp có thể không có sẵn trong các linh mục thích hợp. Đây là một biện minh tiềm năng cho việc sử dụng chúng. Xem câu trả lời của Sergio để kiểm tra kỹ hơn về động lực thực tế cho các linh mục không đúng.π ( θ 1$\pi(\theta)$$\frac{\pi(\theta_1)}{\pi(\theta_2)}$

Điều đáng chú ý là số lượng này cũng có các đặc tính lý thuyết mong muốn, Degroot & Schervish :$\pi(\theta \mid X)$

Các linh mục không đúng không phải là phân phối xác suất thực sự, nhưng nếu chúng ta giả vờ như vậy, chúng ta sẽ tính toán các phân phối sau gần đúng với các hậu thế mà chúng ta sẽ có được bằng cách sử dụng các linh mục liên hợp thích hợp với các giá trị cực trị của siêu âm trước.

Có một câu trả lời "lý thuyết" và một câu trả lời "thực dụng".

Từ quan điểm trị liệu, khi một ưu tiên không phù hợp thì hậu thế không tồn tại (tốt, hãy xem câu trả lời của Matthew cho một tuyên bố âm thanh hơn), nhưng có thể được xấp xỉ bằng một hình thức giới hạn.

Nếu dữ liệu bao gồm một mẫu có điều kiện iid từ phân phối với tham số Bernoulli và θ có sự phân bố beta với các thông số α và β , sự phân bố sau của θ là sự phân bố beta với các thông số α + s , β + n - s ( n quan sát, là thành công) và trung bình của nó là ( α + s ) / ( α + β + n $\theta$$\theta$$\alpha$$\beta$$\theta$$\alpha + s, \beta+n-s$$n$$s$$(\alpha+s)/(\alpha+\beta+n)$. Nếu chúng ta sử dụng phân phối không đúng cách (và không có thật) beta trước với hypeparameters trước , và giả vờ rằng π ( θ ) α θ - 1 ( 1 - θ ) - 1 , chúng ta có được một sau đúng tỉ lệ với θ s - 1 ( 1 - θ ) n - s - 1 , tức là pdf của bản phân phối beta với các tham số s và$\alpha=\beta=0$$\pi(\theta)\propto\theta^{-1}(1-\theta)^{-1}$$\theta^{s-1}(1-\theta)^{n-s-1}$$s$α → 0 β → $n-s$ngoại trừ một yếu tố không đổi. Đây là hình thức giới hạn của hậu thế cho bản beta trước với các tham số và (Degroot & Schervish, Ví dụ 7.3.13).$\alpha\to 0$$\beta\to 0$

Trong một mô hình bình thường với giá trị trung bình , phương sai đã biết và phân phối trước cho , nếu độ chính xác trước, , nhỏ so với độ chính xác của dữ liệu, , khi đó phân phối sau xấp xỉ như thể : tức là phân phối sau là xấp xỉ kết quả từ giả định tỷ lệ với hằng số choσ 2 N ( μ 0 , τ 2 0 ) θ 1 / τ 2 0 n / σ 2 τ 2 0 = ∞ p ( θ ∣ x ) ≈ N ( θ ∣ ˉ x , σ 2 / n ) p ( θ ) θ ∈ ( - ∞ , ∞ ) τ 2 $\theta$$\sigma^2$$\mathcal{N}(\mu_0,\tau^2_0)$$\theta$$1/\tau^2_0$$n/\sigma^2$$\tau^2_0=\infty$

Từ quan điểm "thực dụng" của xem, khi p ( x | θ ) = 0 bất cứ điều gì p ( θ ) là, vì vậy nếu p ( x | θ ) ≠ 0 trong ( một , b ) , sau đó ∫ ∞ - ∞ p ( x | θ ) p ( $p(x\mid\theta)p(\theta)=0$$p(x\mid\theta)=0$$p(\theta)$$p(x\mid\theta)\ne 0$$(a,b)$ . Linh mục không đúng có thể được sử dụng để đại diện chohành viđịa phươngcủa phân phối trước trong khu vực nơi khả năng là đáng kể, nói ( a , b ) . Bằng cách giả sử rằng với một xấp xỉ đủ, một dạng trước theo sau như f ( x ) = k , x ∈ ( - ∞ , ∞ ) hoặc$\int_{-\infty}^{\infty}p(x\mid\theta)p(\theta)d\theta=\int_a^b p(x\mid\theta)p(\theta)d\theta$$(a,b)$$f(x)=k, x\in(-\infty,\infty)$ chỉ hơn ( a , b ) , rằng nó phù hợp với 0 bên ngoài phạm vi đó, chúng tôi đảm bảo rằng các linh mục thực sự được sử dụng là phù hợp (Box và Tiao, trang 21 ). Vì vậy, nếu phân phối trước của θ là U ( - ∞ , ∞ ) nhưng ( một , b ) được bao bọc, nó là như nếu θ ~ U ( một $f(x)=kx^{-1}, x\in(0,\infty)$$(a,b)$$\theta$$\mathcal{U}(-\infty,\infty)$$(a,b)$ , tức là p ( x | θ ) p ( θ ) = p ( x | θ ) k α p ( x | θ ) . Đối với một ví dụ cụ thể, đây là những gì xảy ra trongStan: nếu không có chỉ định trước cho một tham số, thì nó được mặc đồng phục trước sự hỗ trợ của nó và điều này được xử lý như một phép nhân của hằng số.$\theta\sim\mathcal{U}(a,b)$$p(x\mid\theta)p(\theta)=p(x\mid\theta)k\propto p(x\mid\theta)$

Tuy nhiên, trong trường hợp không đúng trước, làm thế nào để bạn biết rằng phân phối sau thực sự tồn tại?

Các hậu thế cũng có thể không thích hợp. Nếu ưu tiên là không phù hợp và khả năng là phẳng (vì không có quan sát có ý nghĩa), thì sau đó bằng với trước và cũng không đúng.

Thông thường bạn có một số quan sát, và thường thì khả năng là không bằng phẳng, do đó, hậu thế là phù hợp.