Có phải hậu thế Bayes cần phải là một phân phối thích hợp?

21

Tôi biết rằng các linh mục không cần phải đúng và chức năng khả năng cũng không tích hợp với 1. Nhưng có phải hậu thế cần phải là một phân phối thích hợp? Các tác động nếu nó là / không phải là gì?

distributions bayesian posterior

— ATJ
nguồn

15

(Có một chút ngạc nhiên khi đọc các câu trả lời trước, trong đó tập trung vào tính không phù hợp tiềm năng của hậu thế khi điều đó là đúng, vì theo như tôi có thể nói, câu hỏi là liệu hậu thế có đúng hay không ( tức là, có thể tích hợp với một) để trở thành một người thích hợp (nghĩa là có thể chấp nhận được đối với suy luận Bayes).)

Trong thống kê Bayes, sự phân bố sau có được một phân bố xác suất, từ đó người ta có thể lấy được những khoảnh khắc như sau có nghĩa là và khả năng phát biểu như vùng phủ sóng của một đáng tin cậy vùng, . Nếu thì hậu thế không thể được chuẩn hóa thành mật độ xác suất và suy luận Bayes đơn giản là không thể được tiến hành. Các hậu thế chỉ đơn giản là không tồn tại trong những trường hợp như vậy. $\mathbb{E}^\pi[h(\theta)|x]$ $\mathbb{P}(\pi(\theta|x)>\kappa|x)$

\int f (x | θ) π (θ) d θ = + \infty, (1)

$\int f(x|\theta)\,\pi(\theta)\,\text{d}\theta = +\infty\,,\qquad (1)$

π (θ | x)

$\pi(\theta|x)$

Trên thực tế, (1) phải giữ cho tất cả các trong không gian mẫu và không chỉ cho được quan sát , nếu không, việc chọn trước sẽ phụ thuộc vào dữ liệu . Điều này có nghĩa là các linh mục như trước của Haldane, , về xác suất của Binomial hoặc biến Binomial âm không thể được sử dụng, vì sau này không được sử dụng được xác định cho . $x$ $x$ $\pi(p)\propto \{1/p(1-p)\}$ $p$ $X$ $x=0$

Tôi biết một ngoại lệ khi người ta có thể xem xét "hậu thế không phù hợp": nó được tìm thấy trong "Nghệ thuật tăng cường dữ liệu" của David van Dyk và Xiao-Li Meng. Biện pháp không phù hợp vượt quá cái gọi là tham số làm việc sao cho việc quan sát được tạo ra bởi biên của phân phối tăng và van Dyk và Meng đặt đúng vào tham số làm việc này để tăng tốc độ mô phỏng (vẫn được xác định rõ là mật độ xác suất) của MCMC. $\alpha$

f (x | θ) = \int_{T (x^{aug}) = x} f (x^{aug} | θ, α) d x^{aug}

$f(x|\theta)=\int_{T(x^\text{aug})=x} f(x^\text{aug}|\theta,\alpha)\,\text{d}x^\text{aug}$

p (α)

$p(\alpha)$

α

$\alpha$

π (θ | x)

$\pi(\theta|x)$

Ở một góc nhìn khác, phần nào liên quan đến câu trả lời của eretmochelys , cụ thể là viễn cảnh của lý thuyết quyết định Bayes , một thiết lập trong đó (1) xảy ra vẫn có thể được chấp nhận nếu nó dẫn đến các quyết định tối ưu. Cụ thể, nếu là hàm mất đánh giá tác động của việc sử dụng quyết định , quyết định tối ưu Bayes theo trước được đưa ra bởi và tất cả vấn đề là tích phân này không có ở mọi nơi (trong ) vô hạn. Có hay không (1) giữ là thứ yếu cho việc tạo ra $L(\delta,\theta)\ge 0$ $\delta$ $\pi$

δ^{⋆} (x) = \arg min_{δ} \int L (δ, θ) f (x | θ) π (θ) d θ

$\delta^\star(x)=\arg\min_\delta \int L(\delta,\theta) f(x|\theta)\,\pi(\theta)\,\text{d}\theta$

δ

$\delta$

δ^{⋆} (x)

$\delta^\star(x)$ , mặc dù các thuộc tính như sự chấp nhận chỉ được đảm bảo khi (1) giữ.

— Tây An
nguồn

19

Phân phối sau không cần phải đúng ngay cả khi trước đó là đúng. Ví dụ: giả sử có Gamma trước hình 0,25 (phù hợp) và chúng tôi mô hình dữ liệu của chúng tôi như được rút ra từ phân phối Gaussian với giá trị trung bình bằng 0 và phương sai . Giả sử được quan sát bằng không. Sau đó, khả năng tỷ lệ với , điều này làm cho phân phối sau cho không chính xác, vì nó tỷ lệ thuận với . Vấn đề này phát sinh do bản chất lập dị của các biến liên tục. $v$ $x$ $v$ $x$ $p(x|v)$ $v^{-0.5}$ $v$ $v^{-1.25} e^{-v}$

— Tom chồn
nguồn

Ví dụ tuyệt vời, Tom!

— Zen

+1, mặc dù bạn có thể mở rộng câu trả lời cho câu cuối cùng của OP không? Điều này có ý nghĩa hay không (bạn có thể làm những việc bạn thường làm với người sau) hay tương tự như việc lấy NaN hoặc Inf từ một số tính toán? Đó có phải là một dấu hiệu cho thấy có gì đó không đúng với mô hình của bạn?

— Wayne

5

Không có gì sai với mô hình. Hậu thế này có ý nghĩa theo nghĩa là nếu bạn nhận được một quan sát khác, bạn có thể nhân nó vào và có thể trở lại một hậu thế thích hợp. Vì vậy, nó không giống như NaN, trên đó tất cả các hoạt động tiếp theo là NaN.

— Tom Minka

8

Mặc dù điều này có lẽ là quá muộn đối với vấn đề, tôi không nghĩ rằng việc sử dụng "ví dụ ngược" giúp người mới bắt đầu: vấn đề phát sinh do bạn sử dụng một phiên bản cụ thể của mật độ Gaussian tại , khi nó có thể được định nghĩa tùy ý trên tập hợp này của số đo bằng không. Và do đó làm cho hậu thế thích hợp hoặc không phù hợp tùy thuộc vào phiên bản đã chọn.

x = 0

$x=0$

— Tây An

Thú vị - nếu bạn lấy chung , thì hậu thế là một gaussian nghịch đảo tổng quát với các tham số . @ Tây An - thật tốt khi thấy cách khác để có được một hậu thế thích hợp trong số này.

x

$x$

- 0.25, 1, x^{2}

$-0.25,1,x^2$

— xác suất

11

Xác định bộ chúng tôi có Tích phân cuối cùng sẽ bằng nếu số đo Lebesgue của là dương. Nhưng điều này là không thể, bởi vì tích phân này cung cấp cho bạn một xác suất (một số thực từ đến ). Do đó, theo sau đó, số đo Lebesgue của bằng và tất nhiên, nó cũng tuân theo điều đó

Bogus Data = {x : \int f (x ∣ θ) π (θ) d θ = \infty},

$\text{Bogus Data} = \left\{ x:\int f(x\mid \theta)\,\pi(\theta)\,d\theta = \infty \right\} \, ,$

P r (X \in Bogus Data) = \int_{Bogus Data} \int f (x ∣ θ) π (θ) d θ d x = \int_{Bogus Data} \infty d x .

$\mathrm{Pr}\left(X\in\text{Bogus Data}\right) = \int_\text{Bogus Data} \int f(x\mid \theta)\,\pi(\theta)\,d\theta\,dx = \int_\text{Bogus Data} \infty\,dx \, .$

\infty

$\infty$

Bogus Data

$\text{Bogus Data}$

0

$0$

1

$1$

Bogus Data

$\text{Bogus Data}$

0

$0$

P r (X \in Bogus Data) = 0

$\mathrm{Pr}\left(X\in\text{Bogus Data}\right)=0$ .

Nói cách khác: xác suất dự đoán trước của các giá trị mẫu đó làm cho giá trị sau không chính xác bằng 0.

Đạo đức của câu chuyện: hãy cẩn thận với những bộ null, chúng có thể cắn, tuy nhiên nó không thể xảy ra được.

PS Như giáo sư Robert đã chỉ ra trong các bình luận, lý do này sẽ nổ tung nếu trước đó là không đúng.

— Thiền
nguồn

4

Bạn đã từng viết : "Nếu chúng ta có thể bắt đầu với một ưu tiên thích hợp và nhận được một hậu thế không phù hợp, thì tôi sẽ bỏ suy luận."

— Tom Minka

2

Một chút tặc lưỡi, có một bộ định lượng ngầm định: Nếu chúng ta có thể bắt đầu với một ưu tiên thích hợp và nhận được một hậu thế không chính xác, với mỗi giá trị mẫu có thể, thì tôi sẽ bỏ suy luận. ;-)

— Zen

Nhân tiện, trí nhớ đáng chú ý, Tom!

— Zen

4

P r (X \in Bogus Data)

$\mathrm{Pr}\left(X\in\text{Bogus Data}\right)$

(θ, x)

$(\theta,x)$

1

Bạn hoàn toàn đúng. Lý do trong câu trả lời chỉ hoạt động với các linh mục thích hợp. Điểm tốt. Tôi sẽ thêm một ghi chú.

— Thiền

3

Bất kỳ "phân phối" nào cũng phải tính tổng (hoặc tích hợp) thành 1. Tôi có thể nghĩ một vài ví dụ trong đó người ta có thể làm việc với các bản phân phối không được chuẩn hóa, nhưng tôi không thoải mái khi gọi bất cứ thứ gì làm thiệt thòi cho bất cứ thứ gì ngoài 1 "phân phối".

$x$ $d$

\begin{aligned} \hat{x} & = \arg max_{x} P_{X | D} (x | d) \\ = \arg max_{x} \frac{P_{D | X} (d | x) P_{X} (x)}{P_{D} (d)} \\ = \arg max_{x} P_{D | X} (d | x) P_{X} (x) \end{aligned}

$\begin{align} \hat{x} &= \arg \max_x P_{X|D}(x|d) \\ &= \arg \max_x \frac{P_{D|X}(d|x) P_X(x)}{P_D(d)} \\ &= \arg \max_x {P_{D|X}(d|x) P_X(x)} \end{align}$

$P_D$ $x$ $\hat{x}$ $P_{D|X}(d|x) P_X(x)$

— eretmochelys
nguồn

@Zen bạn có phiền khi nói rõ hơn về những gì bạn cho là sai (hoặc về cơ bản không đầy đủ) về câu trả lời này không?

— whuber

1

Một cách để giải thích câu hỏi OP "liệu hậu thế có cần phải là một bản phân phối thích hợp không?" là hỏi xem có thể bắt đầu bằng toán học trước và kết thúc với một hậu thế không đúng. Câu trả lời của Minka đưa ra một ví dụ rõ ràng trong đó nó xảy ra. Tôi đã cố gắng bổ sung nó bằng câu trả lời của mình và chỉ ra rằng điều này chỉ có thể xảy ra bên trong một tập hợp xác suất dự đoán trước bằng không.

— Zen

1

@Zen Dường như với tôi một cách giải thích liên quan chặt chẽ là "nếu hậu thế không phù hợp, tôi có thể nhận được thông tin gì từ nó?" Câu trả lời được chấp nhận này có vẻ như nó cung cấp lời khuyên hữu ích và chính xác liên quan đến câu hỏi đó trong một trường hợp đặc biệt (được mô tả rõ ràng). Sự chấp nhận đối với tôi giống như một tín hiệu cho thấy eretmochelys về nhà với một phỏng đoán sắc sảo về hoàn cảnh.

— whuber

-2

$n$ $Beta(0,0)$

— omidi
nguồn

3

Câu trả lời này không chính xác. Xem câu trả lời của tôi.

— Tom Minka