Một khả năng thích hợp trước và lũy thừa có thể dẫn đến một hậu thế không đúng?

(Câu hỏi này được lấy cảm hứng từ nhận xét này từ Xi'an .)

Người ta biết rằng nếu phân phối trước là phù hợp và khả năng được xác định rõ, thì phân phối sau là gần như chắc chắn. $\pi(\theta)$ $L(\theta | x)$ $\pi(\theta|x)\propto \pi(\theta) L(\theta|x)$

Trong một số trường hợp, chúng tôi sử dụng thay vào đó là một khả năng nóng nảy hoặc lũy thừa, dẫn đến một giả sau

\tilde{π} (θ | x) \propto π (θ) L (θ | x)^{α}

$\tilde\pi(\theta|x)\propto \pi(\theta) L(\theta|x)^\alpha$

đối với một số (ví dụ: điều này có thể có lợi thế tính toán).

α > 0

$\alpha>0$

Trong cài đặt này, có thể có một trước thích hợp nhưng một giả sau không đúng?

bayesian prior posterior

— Robin Ryder
nguồn

Trên thực tế, một vài phút sau, tôi sẽ xem xét điều đó là không thể xảy ra vì sự phân kỳ của sản phẩm có khả năng x trước bị giảm khi xem xét khả năng x trước đó của sản phẩm ^ ... Mọi thứ sẽ đến vô cùng chậm hơn! Và các điều khoản sẽ về không chậm hơn được kiểm soát bởi sự phù hợp trước. Đặt cược của tôi là do đó là không thể. (cảnh báo: Tôi đã được biết là sai!)

— Xi'an

Có thể hữu ích trong việc tìm kiếm một ví dụ mẫu khi : Bất đẳng thức của Markov cho chúng ta biết rằng Vì vậy, nếu bạn có thể tìm thấy một trường hợp trong đó có đuôi đa thức, thì bạn có thể xây dựng một giả sau không đúng.

α > 1

$\alpha > 1$

E_{θ \sim π} [L (x | θ)^{α}] ⩾ t^{α} P_{θ \sim π} (L (x | θ) > t) ⟹ E_{θ \sim π} [L (x | θ)^{α}] ⩾ sup_{t > 0} t^{α} P_{θ \sim π} (L (x | θ) > t)

$\mathbf{E}_{\theta \sim \pi} \left[ L(x| \theta)^\alpha \right] \geqslant t^\alpha \mathbf{P}_{\theta \sim \pi} (L(x| \theta) > t) \\ \implies \mathbf{E}_{\theta \sim \pi} \left[ L(x| \theta)^\alpha \right] \geqslant \sup_{t > 0} t^\alpha \mathbf{P}_{\theta \sim \pi} (L(x| \theta) > t)$

L (x | θ)

$L(x| \theta)$

— πr8

Đối số này cũng sẽ hoạt động cho chứ? Ngoài ra, có cách nào để chứng minh rằng một khả năng được xây dựng theo kiểu này sẽ là phù hợp?

α < 1

$\alpha < 1$

— InfProbSciX

Trên thực tế, với , vì chúng ta biết rằng , supremum trên RHS luôn hữu hạn và cho , người ta sử dụng đối số Jensen của bạn để đưa ra suy luận tương tự. Vì vậy, tranh luận thất bại trong khía cạnh đó. Một nhận xét nhỏ rằng đối số này yêu cầu khả năng không giới hạn để thành công, tức là cho tất cả .

α = 1

$\alpha =1$

E_{π} [L (x | θ)] < \infty

$\mathbf{E}_{\pi} [L (x | \theta)] < \infty$

α < 1

$\alpha < 1$

L

$L$

P_{π} (L (x | θ) > t) > 0

$\mathbf{P}_\pi (L (x | \theta) > t) > 0$

t

$t$

— πr8

Đúng, với , bạn không thể tạo một điểm tốt! Tôi phải nói rằng, tôi rất thích thú khi thấy một ví dụ về khả năng không bị ràng buộc! Có lẽ một phiên bản beta sẽ là kết quả của khả năng không bị ràng buộc.

α = 1

$\alpha = 1$

— InfProbSciX

Câu trả lời:

Đối với , có lẽ đây là một đối số để cho thấy rằng không thể xây dựng một hậu thế như vậy? $\alpha \leq 1$

Chúng tôi muốn tìm hiểu xem có thể cho . $\int \tilde \pi(\theta|x)d\theta = \infty$

Trên RHS:

\int π (θ) L^{α} (θ | x) d θ = E_{θ} (L^{α} (θ | x))

$\int \pi(\theta) L^{\alpha}(\theta|x) d\theta = E_{\theta}(L^{\alpha}(\theta|x))$

Nếu , là hàm lõm, do đó, bất đẳng thức Jensen: $\alpha \leq 1$ $x^{\alpha}$

E_{θ} (L^{α} (θ | x)) \leq E_{θ}^{α} (L (θ | x)) = m (x)^{α} < \infty

$E_{\theta}(L^{\alpha}(\theta|x)) \leq E^{\alpha}_{\theta}(L(\theta|x)) = m(x)^\alpha < \infty$

... Trong đó như Xi'an đã chỉ ra, là hằng số chuẩn hóa (bằng chứng). $m(x)$

— InfProbSciX
nguồn

Gọn gàng, cảm ơn Tôi thích rằng bạn đang sử dụng thực tế là với thì hậu thế là phù hợp.

α = 1

$\alpha=1$

— Robin Ryder

Có thể sử dụng kết quả trong câu trả lời của @ InfProbSciX để chứng minh kết quả nói chung. Viết lại thành Nếu , chúng ta có trường hợp bất bình đẳng của Jensen ở trên, vì chúng ta biết rằng là bình thường. Tương tự, nếu , chúng ta có thể viết với , một lần nữa rơi vào trường hợp tương tự, vì chúng ta biết rằng là bình thường. Bây giờ người ta có thể sử dụng cảm ứng (mạnh) để hiển thị trường hợp nói chung. $L(\theta\mid x)^\alpha\pi(\theta)$

L (θ ∣ x)^{α - 1} L (θ ∣ x) π (θ) .

$L(\theta\mid x)^{\alpha-1}L(\theta\mid x)\pi(\theta).$

1 \leq α \leq 2

$1 \leq \alpha \leq 2$

L (x | θ) π (θ)

$L(x|\theta)\pi(\theta)$

2 \leq α \leq 3

$2 \leq \alpha \leq 3$

L (x | θ)^{α - p} L (x | θ)^{p} π (θ),

$L(x|\theta)^{\alpha-p} L(x|\theta)^p\pi(\theta),$

1 \leq p \leq 2

$1 \leq p \leq 2$

L (x | θ)^{p} π (θ)

$L(x|\theta)^{p}\pi(\theta)$

Bình luận cũ

Không chắc chắn nếu điều này là siêu hữu ích, nhưng vì tôi không thể nhận xét nên tôi sẽ để lại câu trả lời. Ngoài nhận xét tuyệt vời của @ InfProbSciX về , nếu người ta đưa ra giả định thêm rằng , thì không thể có một giả trước đúng nhưng một giả sau không đúng cho . Chẳng hạn, nếu chúng ta biết rằng khoảnh khắc thứ hai ( -th) của tồn tại, chúng ta biết rằng đó là trong ( ) và do đó, giả sau sẽ phù hợp với . Mục 1 trong các ghi chú này $\alpha \leq 1$ $L(\theta \mid x) \in L^p$ $1 < \alpha \leq p$ $p$ $L(\theta \mid x)$ $L^2$ $L^p$ $0 \leq \alpha \leq 2$ đi sâu vào chi tiết hơn một chút, nhưng thật không may là không rõ mức độ rộng của lớp, ví dụ, pdf. Tôi xin lỗi nếu tôi nói ra khỏi đây, tôi thực sự muốn để lại nhận xét này. $L^{10}$

— Luiz Max Carvalho
nguồn

Bạn nói đúng, nếu hàm khả năng nằm trong khoảng - tức là không gian số đo được tạo ra trước đó, thì hậu thế sẽ phù hợp với . Tôi hoàn toàn đoán ở đây, nhưng tôi nghĩ rằng không gian sẽ bao gồm hầu hết các khả năng chúng ta có thể nghĩ đến - tôi nghĩ rằng tôi có thể đã đọc một bằng chứng từ lâu nói rằng nếu là Riemann có thể tích hợp, thì sức mạnh tích cực của nó cũng vậy. có thể tích hợp được. Định lý 1.26 để tham khảo

L (θ | x)

$L(\theta|x)$

L^{p} (π_{θ})

$L^p(\bf {\pi_\theta})$

L^{p}

$L^p$

1 \leq α \leq p

$1 \leq \alpha \leq p$

f

$f$

f^{n}, n \in Z^{+}

$f^n, n \in \mathbb Z^+$

— InfProbSciX

@InfProbSciX, tôi nghĩ có thể có một bằng chứng hoàn toàn ẩn giấu trong bóng tối ở đây. Tôi lấy từ câu trả lời của bạn rằng có thể âm. Nếu đó là chính xác, thì chúng ta có thể chỉ ra rằng với bất kỳ , khả năng giả sẽ có thể tích hợp được vì các đối ứng của các hàm có thể tích hợp được có thể tích hợp được. Và nếu khả năng có thể tích hợp được, tôi lập luận rằng hậu thế sẽ có thể tích hợp được vì ưu tiên bị ràng buộc và sản phẩm của một chức năng có thể tích hợp và giới hạn là có thể tích hợp được ( math.stackexchange.com/a/56008/271610 ). Cho tôi biết bạn nghĩ gì.

α

$\alpha$

p > 1

$p > 1$

— Luiz Max Carvalho

Tôi nghĩ rằng bạn có thể bỏ qua trường hợp , vì câu hỏi giả định rõ ràng là khác. Tính tích hợp của cho mọi trường hợp chung cần được hiển thị. Ngoài ra, tôi không chắc chắn nếu ưu tiên luôn bị giới hạn, ví dụ, mật độ của sẽ không.

α < 0

$\alpha < 0$

L^{α}

$L^{\alpha}$

B e t a (0.5, 0.5)

$Beta(0.5, 0.5)$

— InfProbSciX

@InfProbSciX, điều tôi muốn nói là ngay cả khi không có trong câu hỏi, nếu bằng chứng của bạn cũng giữ điều kiện đó, thì chúng tôi có thể hiển thị tính tích hợp cho bằng cách tận dụng thực tế là nếu có thể tích hợp được thì là . Như bạn nói, tất cả điều đó là con số không nếu trước đó không bị ràng buộc. Thay vào đó, chúng ta có thể cố gắng ràng buộc khả năng và dường như bất kỳ khả năng nào người ta sẽ sử dụng trong MLE sẽ phải bị ràng buộc hoặc lõm mạnh ( en.wikipedia.org/wiki/Maximum_likabilities_estimation#Propericat ) cả hai đều có thể được sử dụng để xây dựng một bằng chứng chung. Có suy nghĩ gì không?

α < 0

$\alpha < 0$

α > 1

$\alpha > 1$

f

$f$

1 / f

$1/f$

— Luiz Max Carvalho

Xin lỗi, tôi đã bỏ lỡ điều đó, vâng có vẻ như nó sẽ tạo ra một nỗ lực thú vị!

— InfProbSciX