Khả năng Gaussian + mà trước = Gaussian Marginal?

8

Đưa ra khả năng Gaussian cho một mẫu $y$ như với là không gian tham số và , các tham số tùy ý của vectơ trung bình và ma trận hiệp phương sai.

p (y | θ) = N (y; μ (θ), Σ (θ))

$p(y|\theta) = \mathcal{N}(y;\mu(\theta),\Sigma(\theta))$

Θ

$\Theta$

μ (θ)

$\mu(\theta)$

Σ (θ)

$\Sigma(\theta)$

Là nó có thể chỉ định một mật độ trước $p(\theta)$ và parameterisation của vector trung bình $\mu(\theta)$ và hiệp phương sai ma trận $\Sigma(\theta)$ như vậy mà khả năng biên

p (y) = \int_{θ \in Θ} N (y; μ (θ), Σ (θ)) p (θ) d θ

$p(y)=\int_{\theta\in\Theta}N(y;\mu(\theta),\Sigma(\theta))p(\theta)d\theta$ là một khả năng Gaussian?

Tôi đoán không bao gồm các giải pháp tầm thường mà các hiệp phương sai được biết đến, có nghĩa là, $\Sigma(\theta)=\Sigma$ , nơi $\Sigma$ là một tùy ý cố định ma trận hiệp phương sai, điều này là không thể.

Đối với trường hợp đặc biệt $\mu(\sigma^2)=\mu$ và $\Sigma(\sigma^2)=\sigma^2$ , đó là $y$ là một chiều, và $p(\sigma^2)=\mathcal{U}(\sigma^2;a,b)$ , nơi $\mathcal{U}(\sigma^2;a,b)$ biểu thị mật độ đồng nhất tôi có thể chỉ ra:

\begin{aligned} p (y) & = \int_{0}^{\infty} N (y; μ, σ^{2}) U (σ^{2}; a, b) d σ^{2} \\ = \frac{1}{b - a} \underset{not a Gaussian density}{\underset{⏟}{\int_{a}^{b} N (y; μ, σ^{2})}} \end{aligned}

$\begin{align} p(y)&=\int_0^\infty \mathcal{N}(y;\mu,\sigma^2)\mathcal{U}(\sigma^2;a,b)d\sigma^2 \\ &= \frac{1}{b-a} \underbrace{\int_a^b \mathcal{N}(y;\mu,\sigma^2)}_\text{not a Gaussian density} \end{align}$

Câu trả lời được chấp nhận có bằng chứng chính thức hoặc không chính thức hoặc con trỏ đến nó.

— Julian Karls
nguồn

2

Phỏng đoán của bạn dường như là đúng: chỉ có một phương sai không đổi có thể dẫn đến một lề bình thường. Bằng chứng của tôi là giới hạn ở những trường hợp kỳ vọng $\boldsymbol{\mu}$ được biết đến, và do đó có thể được giả định là không. Đối với trường hợp chung, các đối số phức tạp hơn từ phân tích chức năng dường như được yêu cầu.

Lưu ý rằng câu hỏi thực sự là về hỗn hợp liên tục của quy tắc cũng như về Bayes. Tuyên bố đã chứng minh ở đây rằng một hỗn hợp quy mô (liên tục) có thể là bình thường chỉ đối với một hỗn hợp tầm thường.

Đầu tiên xem xét trường hợp của một chiều chuẩn với trung bình biết và thông số chính xác . Không mất tính tổng quát, chúng ta có thể giả định rằng tham số là độ chính xác riêng của mình. Nếu phân phối biên của là bình thường, thì $\mu = 0$ $\omega := 1 / \Sigma >0$ $\boldsymbol{\theta}$ $\omega$ $y$ là mật độ bình thường lên đến hằng số nhân. Mật độ này là một chức năng thậm chí của phải mang hình thức đối với một số và một số hằng số . Vì đây giữ cho bất kỳ chúng tôi nhận được với $\int \exp\{-y^2 \omega / 2\}\,\omega^{1/2} p(\omega)\,\text{d}\omega$ $y$ $c\exp\{ -y^2 \omega_0 / 2\}$ $\omega_0 >0$ $c >0$ $y$ $s := y^2$ cho tất cả , trong đó cho thấy các biện pháp hữu hạn với hàm mật độ là tỷ lệ thuận với khối lượng Dirac tại vì hai biện pháp này có cùng một biến đổi Laplace, lên đến một hằng số nhân. Do đó là gần như chắc chắn (như) bằng để .

\int_{0}^{\infty} \exp {- s ω / 2} ω^{1 / 2} p (ω) d ω = c \exp {- s ω_{0} / 2}

$\int_0^\infty \exp\{-s \omega \,/ 2\}\,\omega^{1/2} p(\omega)\text{d}\omega = c \exp\{ -s \omega_0 \,/ 2\}$

s \geq 0

$s \geq 0$

ω \mapsto ω^{1 / 2} p (ω)

$\omega \mapsto \omega^{1/2} p(\omega)$

ω_{0}

$\omega_0$

ω

$\omega$

ω_{0}

$\omega_0$

Bằng chứng này mở rộng đến bình thường -chiều với ma trận trung bình bằng 0 và ma trận chính xác . Lề sau đó viết như $d$ $\boldsymbol{\Omega}:=\boldsymbol{\Sigma}^{-1}$ trong đó tích phân nằm trên tập củama trậnđối xứng xác định dương . Nếu không thể thiếu này là giống hệt nhau để , sau đó bằng cách lấy $\propto \int \exp\{-\mathbf{y}^\top \boldsymbol{\Omega}\,\mathbf{y} \,/ 2\}\, \left|\boldsymbol{\Omega}\right|^{1/2}p(\boldsymbol{\Omega})\,\text{d}\boldsymbol{\Omega}$ $\mathcal{P}$ $d \times d$ $c\exp\{ -\mathbf{y}^\top \boldsymbol{\Omega}_0 \mathbf{y} / 2\}$ cho một vô hướng và một vector độc đoán , chúng ta thấy như trên mà $\mathbf{y}:= \sqrt{s} \,\boldsymbol{u}$ $s \geq 0$ $\mathbf{u}$ phải là tương đương với , mà cho thấy là như bằng . Bằng chứng hoạt động ngay cả khi biện pháp được viết thuận tiện là có mật độ cô đặc trên một tập hợp con của với Lebesgue đo zero, bởi vì các biến đổi Laplace luận vẫn được áp dụng. Vì vậy, bằng chứng hoạt động cho một tham số chung của ma trận độ chính xác (hoặc phương sai). $\mathbf{u}^\top \boldsymbol{\Omega}\, \mathbf{u}$ $\mathbf{u}^\top \boldsymbol{\Omega}_0 \mathbf{u}$ $\boldsymbol{\Omega}$ $\boldsymbol{\Omega}_0$ $|\boldsymbol{\Omega}|^{1/2} p(\boldsymbol{\Omega})$ $\mathcal{P}$

— Yves
nguồn

Tôi chưa hiểu bằng chứng của bạn đầy đủ. So với câu trả lời của Jacky1 thì có vẻ tương đối phức tạp. Bạn nghĩ gì về bằng chứng của anh ấy?

— Julian Karls

Chà, tôi không thể hiểu làm thế nào trước có thể phụ thuộc vào

trong câu trả lời của Jacky. Tuy nhiên, tuyên bố của ông như tôi hiểu nó là sai - tôi đã làm những lỗi tương tự đầu tiên :) Thật vậy,

là không nhất thiết phải liên tục và nếu đúng là không đổi,

vẫn có thể được bình thường mà có thể dễ dàng kiểm tra bằng cách hoàn thành một hình vuông. Bây giờ tôi có một bằng chứng cho trường hợp độc lập trước đó (đơn giản một chiều) và hy vọng sẽ sớm viết nó ra, có thể là một câu trả lời mới. Phương sai

phải được liên tục và

phải bình thường (có thể thoái hóa).

y

$y$

μ

$\mu$

μ

$\mu$

Σ

$\Sigma$

μ

$\mu$

— Yves

Bạn có thể mở rộng lý luận của mình trong đoạn văn bắt đầu bằng "Vì điều này đúng với bất kỳ

và kết thúc bằng" (as) bằng

"không? Có thể với các con trỏ tới các định lý bạn đang sử dụng?

y

$y$

ω_{0}

$ω_0$

— Julian Karls

1

Giả sử rằng và là một độc lập tiên và rằng có một biên độ chuẩn với trung bình và phương sai . Tôi sẽ chứng minh rằng sau đó phương sai phải được liên tục, và giá trị trung bình phải có một bình thường trước (có thể thoái hóa). $\mu$ $\Sigma$ $y$ $\mu_0$ $\Sigma_0$ $\Sigma$ $\mu$

Tôi sẽ sử dụng trường hợp một chiều để đơn giản, sử dụng hàm đặc trưng (cf) của , tức là . Chúng ta biết rằng } và một công thức tương tự như giữ cho sự phân bố của có điều kiện trên và , đó là điều bình thường bởi giả định. Vì vậy, đối với bất kỳ thực tế $y$ $\phi_y(t) := \mathbb{E}[e^{yit}]$ $\phi_y(t) = \exp\{\mu_0 it - \Sigma_0 t^2 /2$ $y$ $\mu$ $\Sigma$ $t$ và bằng cách sắp xếp lại không thể thiếu, chúng ta phải có

E [e^{y i t}] = \int E [e^{y i t} | μ, Σ] p (μ) p (Σ) d μ d Σ = \int \exp {μ i t - Σ t^{2} / 2} p (μ) p (Σ) d μ d Σ,

$\mathbb{E}[e^{yit}] = \int \mathbb{E}\left[e^{yit} \, \vert \,\mu,\,\Sigma\right]\, p(\mu) p(\Sigma) \,\text{d}\mu \text{d} \Sigma = \int \exp\left\{ \mu it - \Sigma t^2/2 \right\} \,p(\mu) p(\Sigma) \,\text{d}\mu \text{d}\Sigma,$

Các giả định cần thiết cho việc sắp xếp lại như vậy dễ dàng được kiểm tra.

\exp {μ_{0} i t - Σ_{0} t^{2} / 2} = [\int \exp {μ i t} p (μ) d μ] [\int \exp {- Σ t^{2} / 2} p (Σ) d Σ] .

$\exp\left\{ \mu_0 it - \Sigma_0 t^2 /2 \right\} = \left[\int \exp\left\{ \mu it \right\} p(\mu) \,\text{d}\mu \right] \left[\int \exp\left\{ -\Sigma t^2/2\right\} p(\Sigma) \,\text{d}\Sigma \right].$

Tích phân đầu tiên ở phía bên tay phải, giả sử , là cf của . Lưu ý rằng kể từ khi được tìm thấy là thật, chúng ta thấy rằng sự phân bố của là wrt đối xứng , và do đó mà , vì nó có thể đã được dự đoán . $\phi_1(t)$ $\mu$ $\phi_1(t) e^{-\mu_0 it}$ $\mu$ $\mu_0$ $\mathbb{E}[\mu] = \mu_0$

$\phi_2(t)$ $\phi_2(0) = 1$ $\phi_2$ $t=0$ $\phi_2$ $p(\Sigma)\text{d}\Sigma$ $\phi_2$ $\phi_2$ $\phi_2$ $\phi_2$

Bây giờ chúng ta hãy sử dụng định lý Lévy-Cramér mạnh mẽ cho biết cả hai hàm cho , phải có dạng $\phi_j$ $j=1$ $2$ $\exp\{a_j i t - b_jt^2 /2 \}$ $a_j$ $b_j \geq 0$ $\mu$ $a_1 = \mu_0$

\exp {- (Σ_{0} - b_{1}) t^{2} / 2} = \int_{0}^{\infty} \exp {- Σ t^{2} / 2} p (Σ) d Σ

$\exp\{ -(\Sigma_0 - b_1) t^2 /2 \} = \int_0^\infty \exp\{ - \Sigma t^2 /2\} p(\Sigma) \, \text{d} \Sigma$

t

$t$

t^{2} / 2

$t^2/2$

Σ

$\Sigma$

Σ_{0} - b_{1}

$\Sigma_0 - b_1$

— Yves
nguồn

Cảm ơn nỗ lực của bạn. Tôi sẽ mất một thời gian để hiểu điều này.

— Julian Karls

0

Tôi có một đề xuất bằng chứng cho bạn, nhưng bạn cần kiểm tra nó.

Giả sử rằng khả năng cận biên là Gaussian:

$p(y)=\mathcal{N}(y,m,\Gamma)$

sau đó mật độ trước có thể được xác định bởi

$p(\theta)=\mathcal{N}(y,\mu(\theta),\Sigma(\theta))^{-1}\mathcal{N}(y,m,\Gamma)f(\theta)$

$f$ $\int_{\theta\in\Theta}f(\theta)d\theta =1$ $f(\theta)\geq 0$ $\theta\in\Theta$ $f(\theta)$ $p(\theta|y)$

$p(\theta)$ $\Theta$

$\int_{\theta\in\Theta}\mathcal{N}(y,\mu(\theta),\Sigma(\theta))^{-1}\mathcal{N}(y,m,\Gamma)f(\theta)d\theta =1$

Nó dẫn đến

$\int_{\theta\in\Theta}\mathcal{N}(y,\mu(\theta),\Sigma(\theta))^{-1}\mathcal{N}(y,m,\Gamma)f(\theta)d\theta = \int_{\theta\in\Theta}f(\theta)d\theta$

$\mu(\theta)=m$ $\Sigma(\theta)=\Gamma$

— Jacky1
nguồn

2

Tôi thích ý tưởng bằng chứng. Tôi khá chắc chắn rằng tất cả các bước nhưng bước cuối cùng là hợp lệ. Chắc chắn tích phân của hai hàm là như nhau nếu các hàm giống nhau nhưng đây không phải là điều kiện cần. Bạn đang sử dụng một định lý khác nhau ở đó?

— Julian Karls

p (θ | y)

$p(\theta|y)$

p (θ)

$p(\theta)$

p (θ) = p (θ)

$p(\theta)=p(\theta)$