Các bước để tìm ra một phân phối sau khi nó có thể đủ đơn giản để có một hình thức phân tích?

Điều này cũng đã được hỏi tại Khoa học tính toán.

Tôi cố gắng để tính toán một ước tính Bayesian của một số hệ số cho một autoregression, với 11 mẫu dữ liệu:

Y_{i} = μ + α \cdot Y_{i - 1} + ϵ_{i}

$Y_{i} = \mu + \alpha\cdot{}Y_{i-1} + \epsilon_{i}$ trong đó

ϵ_{i}

$\epsilon_{i}$ là Gaussian với trung bình 0 và phương sai

σ_{e}^{2}

$\sigma_{e}^{2}$ Phân phối trước trên vectơ

(μ, α)^{t}

$(\mu, \alpha)^{t}$ là Gaussian với trung bình

(0, 0)

$(0,0)$ và ma trận hiệp phương sai chéo với các mục chéo để

σ_{p}^{2}

$\sigma_{p}^{2}$ .

Dựa trên công thức autoregression, phương tiện này mà sự phân bố của các điểm dữ liệu (các $Y_{i}$ ) là bình thường với trung bình và phương sai . Do đó, mật độ cho tất cả các điểm dữ liệu chung (giả sử tính độc lập, phù hợp với chương trình tôi đang viết), sẽ là: $\mu + \alpha\cdot{}Y_{i-1}$ $\sigma_{e}^{2}$ $(Y)$

p (Y | (μ, α)^{t}) = \prod_{i = 2}^{11} \frac{1}{\sqrt{2 π σ_{e}^{2}}} \exp \frac{- (Y_{i} - μ - α \cdot Y_{i - 1})^{2}}{2 σ_{e}^{2}} .

$p(Y \quad | (\mu, \alpha)^{t}) = \prod_{i=2}^{11}\frac{1}{\sqrt{2\pi\sigma_{e}^{2}}}\exp{\frac{-(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2}}{2\sigma_{e}^{2}}}.$

Theo định lý của Bayes, chúng ta có thể lấy tích của mật độ trên với mật độ trước, và sau đó chúng ta sẽ chỉ cần hằng số chuẩn hóa. Linh cảm của tôi là điều này sẽ hoạt động thành phân phối Gaussian, vì vậy chúng ta có thể lo lắng về hằng số chuẩn hóa ở cuối thay vì tính toán rõ ràng với các tích phân trên và . $\mu$ $\alpha$

Đây là phần tôi gặp khó khăn. Làm cách nào để tôi tính toán nhân của mật độ trước (là đa biến) và sản phẩm này có mật độ dữ liệu đơn biến? Nhu cầu sau để được hoàn toàn mật độ và , nhưng tôi không thể nhìn thấy làm thế nào bạn sẽ nhận được rằng ra khỏi một sản phẩm như vậy. $\mu$ $\alpha$

Bất kỳ con trỏ nào cũng thực sự hữu ích, ngay cả khi bạn chỉ cho tôi đi đúng hướng và sau đó tôi cần phải đi và làm đại số lộn xộn (đó là những gì tôi đã cố gắng nhiều lần).

Là một điểm khởi đầu, đây là hình thức tử số theo quy tắc của Bayes:

\frac{1}{(2 π σ_{e}^{2})^{5} \cdot 2 π σ_{p}^{2}} \exp [\frac{1}{2 σ_{e}^{2}} \sum_{i = 2}^{11} (Y_{i} - μ - α \cdot Y_{i - 1})^{2} - \frac{μ^{2}}{2 σ_{p}^{2}} - \frac{α^{2}}{2 σ_{p}^{2}}] .

$\frac{1}{(2\pi\sigma_{e}^{2})^{5}\cdot{}2\pi\sigma_{p}^{2}} \exp{\biggl [ \frac{1}{2\sigma_{e}^{2}}\sum_{i=2}^{11}(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }.$

Vấn đề là làm thế nào để thấy rằng điều này làm giảm mật độ Gaussian của . $(\mu, \alpha)^{t}$

Thêm

Cuối cùng, điều này dẫn đến vấn đề chung sau đây. Nếu bạn đang đưa ra một số biểu hiện như bậc hai làm thế nào để bạn đặt đó vào một hình thức bậc hai đối với một số ma trận 2x2

A μ^{2} + B μ α + C α^{2} + J μ + K α + L

$A\mu^{2} + B\mu\alpha + C\alpha^{2} + J\mu + K\alpha + L$

(μ - \hat{μ}, α - \hat{α}) Q (μ - \hat{μ}, α - \hat{α})^{t}

$(\mu-\hat{\mu},\alpha-\hat{\alpha})Q(\mu-\hat{\mu},\alpha-\hat{\alpha})^{t}$

Q

$Q$ ? Nó đủ đơn giản trong trường hợp dễ dàng, nhưng những gì quá trình bạn sử dụng để có được những ước tính trung

và

\hat{μ}

$\hat{\mu}$

\hat{α}

$\hat{\alpha}$

Lưu ý, tôi đã thử tùy chọn đơn giản là mở rộng công thức ma trận và sau đó thử đánh đồng các hệ số như trên. Vấn đề, trong trường hợp của tôi, là hằng số bằng 0, và cuối cùng tôi nhận được ba phương trình trong hai ẩn số, do đó, nó không được xác định để chỉ khớp với các hệ số (ngay cả khi tôi giả sử ma trận dạng bậc hai đối xứng). $L$

bayesian mathematical-statistics posterior

— ely
nguồn

Câu trả lời của tôi cho [câu hỏi này] ( stats.stackexchange.com/questions/22852/ế ) có thể hữu ích. Lưu ý rằng bạn cần ưu tiên cho lần quan sát đầu tiên của mình - các lần lặp lại dừng ở đó.

— xác suất

Tôi không thấy lý do tại sao tôi cần nó trong trường hợp này. Tôi phải xử lý các khoảng thời gian giống như chúng độc lập có điều kiện khi được quan sát. Lưu ý rằng tích của mật độ khớp chỉ từ

. Tôi không nghĩ rằng tôi nên có một công thức được cập nhật liên tục ở đây, chỉ là một công thức duy nhất cho

i = 2..11

$i=2..11$

p ((μ, α)^{t} | Y)

$p((\mu,\alpha)^{t}\quad |Y)$

— ely

Các "đa biến" trong trước

không phải là mâu thuẫn với "đơn biến" trong mật độ dữ liệu, bởi vì họ là mật độ trong

's.

p (α, μ)

$p(\alpha,\mu)$

y_{i}

$y_i$

— Tây An

Manh mối trong câu trả lời của tôi cho câu trả lời trước đó là xem cách tôi tích hợp các tham số - bởi vì bạn sẽ thực hiện chính xác các tích phân tương tự ở đây. Câu hỏi của bạn giả định các tham số phương sai đã biết, vì vậy chúng là hằng số. Bạn chỉ cần nhìn vào phụ thuộc vào tử số. Để thấy điều này, lưu ý rằng chúng ta có thể viết: $\alpha,\mu$

p (μ, α | Y) = \frac{p (μ, α) p (Y | μ, α)}{\int \int p (μ, α) p (Y | μ, α) d μ d α}

$p(\mu,\alpha|Y)=\frac{p(\mu,\alpha)p(Y|\mu,\alpha)}{\int\int p(\mu,\alpha)p(Y|\mu,\alpha)d\mu d\alpha}$

= \frac{\frac{1}{(2 π σ_{e}^{2})^{5} \cdot 2 π σ_{p}^{2}} \exp [- \frac{1}{2 σ_{e}^{2}} \sum_{i = 2}^{11} (Y_{i} - μ - α \cdot Y_{i - 1})^{2} - \frac{μ^{2}}{2 σ_{p}^{2}} - \frac{α^{2}}{2 σ_{p}^{2}}]}{\int \int \frac{1}{(2 π σ_{e}^{2})^{5} \cdot 2 π σ_{p}^{2}} \exp [- \frac{1}{2 σ_{e}^{2}} \sum_{i = 2}^{11} (Y_{i} - μ - α \cdot Y_{i - 1})^{2} - \frac{μ^{2}}{2 σ_{p}^{2}} - \frac{α^{2}}{2 σ_{p}^{2}}] d μ d α}

$=\frac{\frac{1}{(2\pi\sigma_{e}^{2})^{5}\cdot{}2\pi\sigma_{p}^{2}} \exp{\biggl [ -\frac{1}{2\sigma_{e}^{2}}\sum_{i=2}^{11}(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }}{\int\int \frac{1}{(2\pi\sigma_{e}^{2})^{5}\cdot{}2\pi\sigma_{p}^{2}} \exp{\biggl [ -\frac{1}{2\sigma_{e}^{2}}\sum_{i=2}^{11}(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }d\mu d\alpha}$

$\frac{1}{(2\pi\sigma_{e}^{2})^{5}\cdot{}2\pi\sigma_{p}^{2}}$ $\exp{\biggl [ -\frac{1}{2\sigma_{e}^{2}}\sum_{i=2}^{11}Y_{i}^{2} \biggr ]}$ and it will also cancel. The integral we are left with is now (after expanding the squared term):

= \frac{\exp [- \frac{10 μ^{2} + α^{2} \sum_{i = 1}^{10} Y_{i}^{2} - 2 μ \sum_{i = 2}^{11} Y_{i} - 2 α \sum_{i = 2}^{11} Y_{i} Y_{i - 1} + 2 μ α \sum_{i = 1}^{10} Y_{i}}{2 σ_{e}^{2}} - \frac{μ^{2}}{2 σ_{p}^{2}} - \frac{α^{2}}{2 σ_{p}^{2}}]}{\int \int \exp [- \frac{10 μ^{2} + α^{2} \sum_{i = 1}^{10} Y_{i}^{2} - 2 μ \sum_{i = 2}^{11} Y_{i} - 2 α \sum_{i = 2}^{11} Y_{i} Y_{i - 1} + 2 μ α \sum_{i = 1}^{10} Y_{i}}{2 σ_{e}^{2}} - \frac{μ^{2}}{2 σ_{p}^{2}} - \frac{α^{2}}{2 σ_{p}^{2}}] d μ d α}

$=\frac{\exp{\biggl [ -\frac{10\mu^2+\alpha^2\sum_{i=1}^{10}Y_{i}^{2}-2\mu\sum_{i=2}^{11}Y_i-2\alpha\sum_{i=2}^{11}Y_{i}Y_{i-1}+2\mu\alpha\sum_{i=1}^{10}Y_i}{2\sigma_{e}^{2}} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }}{\int\int \exp{\biggl [ -\frac{10\mu^2+\alpha^2\sum_{i=1}^{10}Y_{i}^{2}-2\mu\sum_{i=2}^{11}Y_i-2\alpha\sum_{i=2}^{11}Y_{i}Y_{i-1}+2\mu\alpha\sum_{i=1}^{10}Y_i}{2\sigma_{e}^{2}} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }d\mu d\alpha}$

Now we can use a general result from the normal pdf.

\int \exp (- a z^{2} + b z - c) d z = \sqrt{\frac{π}{a}} \exp (\frac{b^{2}}{4 a} - c)

$\int \exp\left(-az^2+bz-c\right)dz=\sqrt{\frac{\pi}{a}}\exp\left(\frac{b^2}{4a}-c\right)$ This follows from completing the square on

- a z^{2} + b z

$-az^2+bz$ and noting that

c

$c$ does not depend on

z

$z$ . Note that the inner integral over

μ

$\mu$ is of this form with

a = \frac{10}{2 σ_{e}^{2}} + \frac{1}{2 σ_{p}^{2}}

$a=\frac{10}{2\sigma^2_e}+\frac{1}{2\sigma^2_p}$ and

b = \frac{\sum_{i = 2}^{11} Y_{i} - α \sum_{i = 1}^{10} Y_{i}}{σ_{e}^{2}}

$b=\frac{\sum_{i=2}^{11}Y_i-\alpha\sum_{i=1}^{10}Y_i}{\sigma_{e}^{2}}$ and

c = \frac{α^{2} \sum_{i = 1}^{10} Y_{i}^{2} - 2 α \sum_{i = 2}^{11} Y_{i} Y_{i - 1}}{2 σ_{e}^{2}} + \frac{α^{2}}{2 σ_{p}^{2}}

$c=\frac{\alpha^2\sum_{i=1}^{10}Y_{i}^{2}-2\alpha\sum_{i=2}^{11}Y_{i}Y_{i-1}}{2\sigma_{e}^{2}}+ \frac{\alpha^{2}}{2\sigma_{p}^{2}}$ . After doing this integral, you will find that the remaining integral over

α

$\alpha$ is also of this form, so you can use this formula again, with a different

a, b, c

$a,b,c$ . Then you should be able to write your posterior in the form

\frac{1}{2 π | V |^{\frac{1}{2}}} \exp [- \frac{1}{2} (μ - \hat{μ}, α - \hat{α}) V^{- 1} (μ - \hat{μ}, α - \hat{α})^{T}]

$\frac{1}{2\pi|V|^{\frac{1}{2}}}\exp\left[-\frac{1}{2}(\mu-\hat{\mu},\alpha-\hat{\alpha})V^{-1}(\mu-\hat{\mu},\alpha-\hat{\alpha})^T\right]$ where

V

$V$ is a

2 \times 2

$2\times 2$ matrix

Let me know if you need more clues.

update

(note: correct formula, should be $10\mu^2$ instead of $\mu^2$ )

if we look at the quadratic form you've written in the update, we notice there is $5$ coefficients ( $L$ is irrelevant for posterior as we can always add any constant which will cancel in the denominator). We also have $5$ unknowns $\hat{\mu},\hat{\alpha},Q_{11},Q_{12}=Q_{21},Q_{22}$ . Hence this is a "well posed" problem so long as the equations are linearly independent. If we expand the quadratic $(\mu-\hat{\mu},\alpha-\hat{\alpha})Q(\mu-\hat{\mu},\alpha-\hat{\alpha})^{t}$ we get:

Q_{11} (μ - \hat{μ})^{2} + Q_{22} (α - \hat{α})^{2} + 2 Q_{12} (μ - \hat{μ}) (α - \hat{α})

$Q_{11}(\mu-\hat{\mu})^2+Q_{22}(\alpha-\hat{\alpha})^2+2Q_{12}(\mu-\hat{\mu})(\alpha-\hat{\alpha})$

= Q_{11} μ^{2} + 2 Q_{21} μ α + Q_{22} α^{2} - (2 Q_{11} \hat{μ} + 2 Q_{12} \hat{α}) μ - (2 Q_{22} \hat{α} + 2 Q_{12} \hat{μ}) α +

$=Q_{11}\mu^{2} + 2Q_{21}\mu\alpha + Q_{22}\alpha^{2} - (2Q_{11}\hat{\mu}+2Q_{12}\hat{\alpha})\mu - (2Q_{22}\hat{\alpha}+2Q_{12}\hat{\mu})\alpha +$

+ Q_{11} {\hat{μ}}^{2} + Q_{22} {\hat{α}}^{2} + 2 Q_{12} \hat{μ} \hat{α}

$+Q_{11}\hat{\mu}^2+Q_{22}\hat{\alpha}^2+2Q_{12}\hat{\mu}\hat{\alpha}$

Comparing second order coefficient we get $A=Q_{11},B=2Q_{12},C=Q_{22}$ which tells us what the (inverse) covariance matrix looks like. Also we have two slightly more complicated equations for $\hat{\alpha},\hat{\mu}$ after substituting for $Q$ . These can be written in matrix form as:

- (\begin{matrix} 2 A & B \\ B & 2 C \end{matrix}) (\begin{matrix} \hat{μ} \\ \hat{α} \end{matrix}) = (\begin{matrix} J \\ K \end{matrix})

$-\begin{pmatrix}2A & B \\ B & 2C\end{pmatrix} \begin{pmatrix}\hat{\mu} \\ \hat{\alpha}\end{pmatrix} = \begin{pmatrix}J \\ K\end{pmatrix}$

Thus the estimates are given by:

(\begin{matrix} \hat{μ} \\ \hat{α} \end{matrix}) = - {(\begin{matrix} 2 A & B \\ B & 2 C \end{matrix})}^{- 1} (\begin{matrix} J \\ K \end{matrix}) = \frac{1}{4 A C - B^{2}} (\begin{matrix} B K - 2 J C \\ B J - 2 K A \end{matrix})

$\begin{pmatrix}\hat{\mu} \\ \hat{\alpha}\end{pmatrix} = -\begin{pmatrix}2A & B \\ B & 2C\end{pmatrix}^{-1}\begin{pmatrix}J \\ K\end{pmatrix}=\frac{1}{4AC-B^2}\begin{pmatrix}BK-2JC \\ BJ-2KA\end{pmatrix}$

Showing that we do not have unique estimates unless $4AC\neq B^2$ . Now we have:

\begin{array}{cc} A = \frac{10}{2 σ_{e}^{2}} + \frac{1}{2 σ_{p}^{2}} & B = \frac{\sum_{i = 1}^{10} Y_{i}}{σ_{e}^{2}} & C = \frac{\sum_{i = 1}^{10} Y_{i}^{2}}{2 σ_{e}^{2}} + \frac{1}{2 σ_{p}^{2}} \\ J = - \frac{\sum_{i = 2}^{11} Y_{i}}{σ_{e}^{2}} & K = - \frac{\sum_{i = 2}^{11} Y_{i} Y_{i - 1}}{σ_{e}^{2}} \end{array}

$\begin{array}{c c} A=\frac{10}{2\sigma^2_e}+\frac{1}{2\sigma^2_p} & B=\frac{\sum_{i=1}^{10}Y_i}{\sigma_{e}^{2}} & C=\frac{\sum_{i=1}^{10}Y_{i}^{2}}{2\sigma^2_e}+\frac{1}{2\sigma^2_p} \\ J=-\frac{\sum_{i=2}^{11}Y_i}{\sigma_{e}^{2}} & K=-\frac{\sum_{i=2}^{11}Y_{i}Y_{i-1}}{\sigma_{e}^{2}} \end{array}$

Note that if we define $X_i=Y_{i-1}$ for $i=2,\dots,11$ and take the limit $\sigma^2_p\to\infty$ then the estimates for $\mu,\alpha$ are given by the usual least squares estimate $\hat{\alpha}=\frac{\sum_{i=2}^{11}(Y_{i}-\overline{Y})(X_{i}-\overline{X})}{\sum_{i=2}^{11}(X_{i}-\overline{X})^2}$ and $\hat{\mu}=\overline{Y}-\hat{\alpha}\overline{X}$ where $\overline{Y}=\frac{1}{10}\sum_{i=2}^{11}Y_i$ and $\overline{X}=\frac{1}{10}\sum_{i=2}^{11}X_i=\frac{1}{10}\sum_{i=1}^{10}Y_i$ . So the posterior estimates are a weighted average between the OLS estimates and the prior estimate $(0,0)$ .

— probabilityislogic
nguồn

This isn't particularly helpful because I mentioned specifically that it's not the denominator that matters here. The denominator is just a normalizing constant, which will be obvious once you reduce the numerator to a Gaussian form. So tricks for evaluating the integrals in the denominator are mathematically really cool, but just not needed for my application. The only issue I need resolution with is manipulating the numerator.

— ely

This answer gives you both numerator and denominator. The numerator exhibits the proper second degree polynomial in

(α, μ)

$(\alpha,\mu)$ that leads to the normal quadratic form, as stressed by probabilityislogic.

— Xi'an

@ems - by calculating the normalising constant you will construct the quadratic form required. it will contain the terms needed to compllete the square

— probabilityislogic

I don't understand how this gives you the quadratic form. I've worked out the two integrals in the denominator using the Gaussian integral identity that you posted. In the end, I just get a huge, messy constant. There doesn't seem to be any clear way to take that constant and turn it into something times a determinant to the 1/2 power, etc. Not to mention I don't see how any of this explains how to calculate the new 'mean vector'

(\hat{μ}, \hat{α})^{t}

$(\hat{\mu},\hat{\alpha})^{t}$ .. This is what I was asking for help for in the original question.

— ely

Thanks tremendously for the detailed addition. I was making some silly errors when trying to do the algebra to figure out the quadratic form. Your comments about the relation to the OLS estimator are highly interesting and appreciated as well. I think this will speed up my code because I'll be able to draw samples from an analytic form that has built-in, optimized methods. My original plan was to use Metropolis-Hastings to sample from this, but it was very slow. Thanks!

— ely