Ước tính phân bố hiệp phương sai của một gaussian đa biến

15

Tôi cần "học" phân phối một gaussian bivariate với một vài mẫu, nhưng một giả thuyết tốt về phân phối trước, vì vậy tôi muốn sử dụng phương pháp bayesian.

Tôi định nghĩa trước của tôi:

P (μ) \sim N (μ_{0}, Σ_{0})

$\mathbf{P}(\mathbf{\mu}) \sim \mathcal{N}(\mathbf{\mu_0},\mathbf{\Sigma_0})$

μ_{0} = [\begin{matrix} 0 \\ 0 \end{matrix}] Σ_{0} = [\begin{matrix} 16 & 0 \\ 0 & 27 \end{matrix}]

$\mathbf{\mu_0} = \begin{bmatrix} 0 \\ 0 \end{bmatrix} \ \ \ \mathbf{\Sigma_0} = \begin{bmatrix} 16 & 0 \\ 0 & 27 \end{bmatrix}$

Và phân phối của tôi đưa ra giả thuyết

P (x | μ, Σ) \sim N (μ, Σ)

$\mathbf{P}(x|\mathbf{\mu},\mathbf{\Sigma}) \sim \mathcal{N}(\mathbf{\mu},\mathbf{\Sigma})$

μ = [\begin{matrix} 0 \\ 0 \end{matrix}] Σ = [\begin{matrix} 18 & 0 \\ 0 & 18 \end{matrix}]

$\mathbf{\mu} = \begin{bmatrix} 0 \\ 0 \end{bmatrix} \ \ \ \mathbf{\Sigma} = \begin{bmatrix} 18 & 0 \\ 0 & 18 \end{bmatrix}$

Bây giờ tôi biết nhờ vào đây để ước tính giá trị trung bình của dữ liệu

P (μ | x_{1}, \dots, x_{n}) \sim N ({\hat{μ}}_{n}, {\hat{Σ}}_{n})

$\mathbf{P} (\mathbf{\mu} | \mathbf{x_1}, \dots , \mathbf{x_n}) \sim \mathcal{N}(\mathbf{\hat{\mu}_n}, \mathbf{\hat{\Sigma}_n})$

Tôi có thể tính toán:

{\hat{μ}}_{n} = Σ_{0} {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} (\frac{1}{n} \sum_{i = 1}^{n} x_{i}) + \frac{1}{n} Σ {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} μ_{0}

$\mathbf{\hat{\mu}_n} = \mathbf{\Sigma_0} \left( \mathbf{\Sigma_0} + {1 \over n} \mathbf{\Sigma} \right) ^ {-1} \left( {1 \over n} \sum_{i=1}^{n} \mathbf{x_i} \right) + {1 \over n} \mathbf{\Sigma} \left( \mathbf{\Sigma_0} + {1 \over n} \mathbf{\Sigma} \right) ^{-1} \mathbf{\mu_0}$

{\hat{Σ}}_{n} = \frac{1}{n} Σ_{0} {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} Σ

$\mathbf {\hat{\Sigma}_n} = {1 \over n} \mathbf{\Sigma_0} \left( \mathbf{\Sigma_0} + {1 \over n} \mathbf{\Sigma} \right) ^{-1} \mathbf{\Sigma}$

Bây giờ đến câu hỏi, có lẽ tôi là sai, nhưng có vẻ như với tôi rằng chỉ là ma trận hiệp phương sai cho tham số ước lượng , và không phải là hiệp phương sai dữ liệu ước tính của tôi. Những gì tôi muốn là cũng sẽ tính toán $\mathbf{\Sigma_n}$ $\mathbf{\mu_n}$

P (Σ_{n_{1}} | x_{1}, \dots, x_{n})

$\mathbf{P} (\mathbf{\Sigma_{n_1}} | \mathbf{x_1}, \dots , \mathbf{x_n})$

để có một phân phối được chỉ định đầy đủ học được từ dữ liệu của tôi.

Điều này có thể không? Là nó đã giải quyết bằng cách tính toán và nó chỉ thể hiện bằng cách sai công thức trên (hay tôi chỉ đơn giản là misentrepreting nó)? Tài liệu tham khảo sẽ được đánh giá cao. Cảm ơn rất nhiều. $\mathbf{\Sigma_n}$

BIÊN TẬP

Từ những ý kiến, nó xuất hiện rằng cách tiếp cận của tôi là "sai", theo nghĩa rằng tôi đã giả định một hiệp phương sai không đổi, được định nghĩa bởi . Những gì tôi cần là nên đặt một trước cũng trên đó, , nhưng tôi không biết những gì tôi nên sử dụng phân phối, và sau đó các thủ tục để cập nhật nó là gì. $\mathbf{\Sigma}$ $\mathbf{P}(\mathbf{\Sigma})$

— unziberla
nguồn

Bạn đã chỉ định hiệp phương sai của dữ liệu của mình là

- và bạn chưa chỉ định phân phối trước cho dữ liệu đó được cập nhật từ đâu?

Σ = [\begin{matrix} 18 & 0 \\ 0 & 18 \end{matrix}]

$\mathbf{\Sigma} = \begin{bmatrix} 18 & 0 \\ 0 & 18 \end{bmatrix}$

— Corone

Tôi thấy điểm của bạn. Vì vậy, với cách tiếp cận của tôi, về cơ bản tôi đã giả định rằng phương sai là không đổi và được chỉ định. Nếu tôi muốn ước tính nó, tôi cần có trước.

Bây giờ, vấn đề của tôi là nó không rõ ràng làm thế nào để xác định nó, và những gì sẽ là một phân phối thích hợp cho nó, nhưng điều này có vẻ là ra khỏi phạm vi của câu hỏi đầu tiên .

P (Σ) \sim F (μ_{Σ}, Σ_{Σ})

$\mathbf{P}(\mathbf{\Sigma}) \sim \mathcal{F} (\mathbf{\mu_{\Sigma}} , \Sigma_{\Sigma})$

— unziberla

Sau đó thay đổi câu hỏi :-)

— Corone

11

Bạn có thể thực hiện cập nhật Bayes cho cấu trúc hiệp phương sai theo tinh thần giống như bạn đã cập nhật giá trị trung bình. Liên hợp trước cho ma trận hiệp phương sai của đa biến-bình thường là phân phối nghịch đảo-Wishart, do đó, thật hợp lý khi bắt đầu từ đó,

$P(\Sigma) \sim W^{-1}(\mathbf{\Psi}, \nu)$

Sau đó, khi bạn lấy mẫu có độ dài bạn có thể tính ước lượng hiệp phương sai mẫu $X$ $n$ $\Sigma_X = \frac{1}{n}(X-\mu)^\top(X-\mu)$

Điều này sau đó có thể được sử dụng để cập nhật ước tính của bạn về ma trận hiệp phương sai

$P(\Sigma|X) \sim W^{-1}(n\Sigma_X + \mathbf{\Psi}, n + \nu)$

Bạn có thể chọn sử dụng giá trị trung bình của giá trị này làm ước tính điểm của mình cho hiệp phương sai (Công cụ ước tính trung bình sau)

$E[\Sigma|X] = \frac{n\Sigma_X + \mathbf{\Psi}}{\nu+n-p-1}$

hoặc bạn có thể chọn sử dụng chế độ (Công cụ ước tính Posteriori tối đa)

$\text{Mode}[\Sigma|X] = \frac{n\Sigma_X + \mathbf{\Psi}}{\nu+n+p+1}$

— Corone
nguồn

Thanks a lot. Now I assume something will change in my estimation process. As a first step, I should estimate the covariance

\hat{Σ}

$\mathbf{\hat{\Sigma}}$ with your procedure, then my distribution given the estimated hypothesis woulb be

P (X | μ, \hat{Σ})

$\mathbf{P} (\mathbf{X} | \mu, \mathbf{\hat{\Sigma}} )$ and since

\hat{Σ}

$\mathbf{\hat{\Sigma}}$ is estimated and has its own distribution I am pretty sure this will somehow change my previous formula to compute

{\hat{μ}}_{n}

$\mathbf{\hat{\mu}_n}$ (as it happens on gaussian MLE when using the sample variance).

— unziberla

The approach that you describe would be instead to use

\hat{Σ} = E [Σ | x_{1} \dots x_{n}]

$\mathbf{\hat{\Sigma}} = E[ \Sigma | \mathbf{x_1} \dots \mathbf{x_n} ]$ để tôi có một giá trị thực tế cho hiệp phương sai, như thể tôi biết nó trước đây. Theo cách tiếp cận thường xuyên, điều này nghe có vẻ sai, nhưng có lẽ có điều gì đó mà tôi đang thiếu từ thực tế là tôi cho rằng trước đó đã biết và điều này làm cho thủ tục đúng?

— unziberla

7

Ok, tôi tìm thấy giải pháp thực sự cho vấn đề của tôi. Tôi đang đăng nó ngay cả khi câu trả lời đúng cho câu hỏi (đặt sai chỗ) của tôi là câu được chọn.

Về cơ bản, câu hỏi của tôi giải thích làm thế nào để ước tính giá trị trung bình khi biết hiệp phương sai và câu trả lời làm thế nào để ước lượng hiệp phương sai biết giá trị trung bình. Nhưng vấn đề thực tế của tôi là ước tính với cả hai tham số chưa biết.

I found the answer on Wikipedia with the derivation explained here. The multivariate normal's conjugated prior is the Normal-inverse-Wishart, that is basically a distribution over multivariate Normals.

The prior parameters that need to be specified are $\mathbf{\mu}_0$ to define the mean, $\mathbf{\Psi}$ to define the covariance, and two scalar values $\kappa_0$ and $\nu_0$ that I would say define how confident we are on the estimation of the first two parameters respectively.

The updated distribution after observing $n$ samples of a $p$ -variate Normal has the form

P (μ, Σ | X) \sim N I W (\frac{κ_{0} μ_{0} + n \bar{x}}{κ_{0} + n}, κ_{0} + n, ν_{0} + n, Ψ + C + \frac{κ_{0} n}{κ_{0} + n} (\bar{x} - μ_{0}) (\bar{x} - μ_{0})^{T})

$\mathbf{P}(\boldsymbol\mu, \mathbf{\Sigma} | \mathbf{X}) \sim \mathrm{NIW} \left( \frac{\kappa_0\boldsymbol\mu_0+n\mathbf{\bar{x}}}{\kappa_0+n} ,\, \kappa_0+n,\, \nu_0+n ,\, \boldsymbol\Psi + \mathbf{C} + \frac{\kappa_0 n}{\kappa_0+n}(\mathbf{\bar{x}}-\boldsymbol\mu_0)(\mathbf{\bar{x}}-\boldsymbol\mu_0)^T \right)$

where

\bar{x} = \frac{1}{n} \sum_{i = 0}^{n} x_{i}

$\mathbf{\bar{x}} = {1 \over n} \sum_{i=0}^{n} \mathbf{x_i}$

C = \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{T}

$\mathbf{C} = \sum_{i=1}^n (\mathbf{x_i} - \mathbf{\bar{x}}) (\mathbf{x_i} - \mathbf{\bar{x}})^T$

so my desired estimated parameters are

E (μ | X) = \frac{κ_{0} μ_{0} + n \bar{x}}{κ_{0} + n}

$E (\boldsymbol\mu | \mathbf{X}) = {{\kappa_0\boldsymbol\mu_0+n\mathbf{\bar{x}}} \over{\kappa_0+n} }$

E (Σ | X) = \frac{Ψ + C + \frac{κ_{0} n}{κ_{0} + n} (\bar{x} - μ_{0}) (\bar{x} - μ_{0})^{T}}{ν_{0} + n - p - 1}

$E (\mathbf{\Sigma} | \mathbf{X}) = \frac{ \boldsymbol\Psi + \mathbf{C} + \frac{\kappa_0 n}{\kappa_0+n}(\mathbf{\bar{x}}-\boldsymbol\mu_0)(\mathbf{\bar{x}}-\boldsymbol\mu_0)^T }{ \nu_0 + n - p - 1}$

— unziberla
nguồn