Xuất phát các phân phối có điều kiện của phân phối chuẩn nhiều biến

Chúng tôi có một vectơ bình thường đa biến . Cân nhắc phân vùng và thành ${\boldsymbol Y} \sim \mathcal{N}(\boldsymbol\mu, \Sigma)$$\boldsymbol\mu$${\boldsymbol Y}$

$$\boldsymbol\mu = \begin{bmatrix} \boldsymbol\mu_1 \\ \boldsymbol\mu_2 \end{bmatrix}$$ $${\boldsymbol Y}=\begin{bmatrix}{\boldsymbol y}_1 \\ {\boldsymbol y}_2 \end{bmatrix}$$

với phân vùng tương tự $\Sigma$ thành

$$\begin{bmatrix} \Sigma_{11} & \Sigma_{12}\\ \Sigma_{21} & \Sigma_{22} \end{bmatrix}$$ Sau đó, $({\boldsymbol y}_1|{\boldsymbol y}_2={\boldsymbol a})$ , phân phối có điều kiện của phân vùng thứ nhất được cung cấp thứ hai, là $\mathcal{N}(\overline{\boldsymbol\mu},\overline{\Sigma})$ , với trung bình
$$\overline{\boldsymbol\mu}=\boldsymbol\mu_1+\Sigma_{12}{\Sigma_{22}}^{-1}({\boldsymbol a}-\boldsymbol\mu_2)$$ và ma trận hiệp phương sai $$\overline{\Sigma}=\Sigma_{11}-\Sigma_{12}{\Sigma_{22}}^{-1}\Sigma_{21}$$

Trên thực tế, những kết quả này cũng được cung cấp trong Wikipedia, nhưng tôi không biết làm thế nào $\overline{\boldsymbol\mu}$ và $\overline{\Sigma}$ được dẫn xuất. Những kết quả này rất quan trọng, vì chúng là công thức thống kê quan trọng để lấy các bộ lọc Kalman . Có ai có thể cung cấp cho tôi các bước phái sinh của việc tạo ra $\overline{\boldsymbol\mu}$ và $\overline{\Sigma}$ không? Cảm ơn rât nhiều!

Bạn có thể chứng minh điều đó bằng cách tính toán rõ ràng mật độ có điều kiện bằng sức mạnh vũ phu, như trong liên kết của Procrastinator (+1) trong các bình luận. Nhưng, cũng có một định lý nói rằng tất cả các phân phối có điều kiện của một phân phối bình thường đa biến là bình thường. Do đó, tất cả những gì còn lại là tính toán vectơ trung bình và ma trận hiệp phương sai. Tôi nhớ chúng ta đã rút ra điều này trong một lớp chuỗi thời gian ở trường đại học bằng cách khéo léo xác định một biến thứ ba và sử dụng các thuộc tính của nó để rút ra kết quả đơn giản hơn là giải pháp vũ lực trong liên kết (miễn là bạn cảm thấy thoải mái với đại số ma trận). Tôi đang đi từ bộ nhớ nhưng nó là một cái gì đó như thế này:

---

Đặt là phân vùng đầu tiên và thứ hai. Bây giờ hãy xác định trong đó . Bây giờ chúng ta có thể viết${\bf x}_{1}$${\bf x}_2$${\bf z} = {\bf x}_1 + {\bf A} {\bf x}_2$${\bf A} = -\Sigma_{12} \Sigma^{-1}_{22}$

$$\begin{align*} {\rm cov}({\bf z}, {\bf x}_2) &= {\rm cov}( {\bf x}_{1}, {\bf x}_2 ) + {\rm cov}({\bf A}{\bf x}_2, {\bf x}_2) \\ &= \Sigma_{12} + {\bf A} {\rm var}({\bf x}_2) \\ &= \Sigma_{12} - \Sigma_{12} \Sigma^{-1}_{22} \Sigma_{22} \\ &= 0 \end{align*}$$

Do đó và không tương quan và, vì chúng là bình thường chung, chúng độc lập . Bây giờ, rõ ràng , do đó, nó tuân theo điều đó${\bf z}$${\bf x}_2$$E({\bf z}) = {\boldsymbol \mu}_1 + {\bf A} {\boldsymbol \mu}_2$

$$\begin{align*} E({\bf x}_1 | {\bf x}_2) &= E( {\bf z} - {\bf A} {\bf x}_2 | {\bf x}_2) \\ & = E({\bf z}|{\bf x}_2) - E({\bf A}{\bf x}_2|{\bf x}_2) \\ & = E({\bf z}) - {\bf A}{\bf x}_2 \\ & = {\boldsymbol \mu}_1 + {\bf A} ({\boldsymbol \mu}_2 - {\bf x}_2) \\ & = {\boldsymbol \mu}_1 + \Sigma_{12} \Sigma^{-1}_{22} ({\bf x}_2- {\boldsymbol \mu}_2) \end{align*}$$

trong đó chứng minh phần đầu tiên. Đối với ma trận hiệp phương sai, lưu ý rằng

$$\begin{align*} {\rm var}({\bf x}_1|{\bf x}_2) &= {\rm var}({\bf z} - {\bf A} {\bf x}_2 | {\bf x}_2) \\ &= {\rm var}({\bf z}|{\bf x}_2) + {\rm var}({\bf A} {\bf x}_2 | {\bf x}_2) - {\bf A}{\rm cov}({\bf z}, -{\bf x}_2) - {\rm cov}({\bf z}, -{\bf x}_2) {\bf A}' \\ &= {\rm var}({\bf z}|{\bf x}_2) \\ &= {\rm var}({\bf z}) \end{align*}$$

Bây giờ chúng ta gần xong rồi:

$$\begin{align*} {\rm var}({\bf x}_1|{\bf x}_2) = {\rm var}( {\bf z} ) &= {\rm var}( {\bf x}_1 + {\bf A} {\bf x}_2 ) \\ &= {\rm var}( {\bf x}_1 ) + {\bf A} {\rm var}( {\bf x}_2 ) {\bf A}' + {\bf A} {\rm cov}({\bf x}_1,{\bf x}_2) + {\rm cov}({\bf x}_2,{\bf x}_1) {\bf A}' \\ &= \Sigma_{11} +\Sigma_{12} \Sigma^{-1}_{22} \Sigma_{22}\Sigma^{-1}_{22}\Sigma_{21} - 2 \Sigma_{12} \Sigma_{22}^{-1} \Sigma_{21} \\ &= \Sigma_{11} +\Sigma_{12} \Sigma^{-1}_{22}\Sigma_{21} - 2 \Sigma_{12} \Sigma_{22}^{-1} \Sigma_{21} \\ &= \Sigma_{11} -\Sigma_{12} \Sigma^{-1}_{22}\Sigma_{21} \end{align*}$$

trong đó chứng minh phần thứ hai.

Lưu ý: Đối với những người không quen thuộc với đại số ma trận được sử dụng ở đây, đây là một tài nguyên tuyệt vời .

Chỉnh sửa: Một thuộc tính được sử dụng ở đây không có trong sách nấu ăn ma trận (bắt tốt @FellingPig) là thuộc tính 6 trên trang wikipedia về ma trận hiệp phương sai: đó là hai vectơ ngẫu nhiên , Đối với vô hướng, tất nhiên, nhưng đối với các vectơ thì chúng khác nhau khi các ma trận được sắp xếp khác nhau.$\bf x, y$

$${\rm var}({\bf x}+{\bf y}) = {\rm var}({\bf x})+{\rm var}({\bf y}) + {\rm cov}({\bf x},{\bf y}) + {\rm cov}({\bf y},{\bf x})$$ ${\rm cov}(X,Y)={\rm cov}(Y,X)$

Câu trả lời của Macro rất hay, nhưng đây là một cách thậm chí đơn giản hơn mà không yêu cầu bạn sử dụng bất kỳ định lý bên ngoài nào để khẳng định phân phối có điều kiện. Nó liên quan đến việc viết khoảng cách Mahanalobis dưới dạng phân tách biến đối số cho câu lệnh điều hòa, và sau đó tính hệ số mật độ bình thường cho phù hợp.

---

Viết lại khoảng cách Mahanalobis cho một vectơ có điều kiện: Đạo hàm này sử dụng công thức đảo ngược ma trận sử dụng phần bù Schur . Trước tiên, chúng tôi sử dụng công thức đảo ngược khối để viết ma trận phương sai nghịch đảo là:$\boldsymbol{\Sigma}_\text{S} = \boldsymbol{\Sigma}_{11} - \boldsymbol{\Sigma}_{12} \boldsymbol{\Sigma}_{22}^{-1} \boldsymbol{\Sigma}_{21}$

$$\begin{equation} \begin{aligned} \boldsymbol{\Sigma}^{-1} = \begin{bmatrix} \boldsymbol{\Sigma}_{11} & \boldsymbol{\Sigma}_{12} \\ \boldsymbol{\Sigma}_{21} & \boldsymbol{\Sigma}_{22} \\ \end{bmatrix}^{-1} = \begin{bmatrix} \boldsymbol{\Sigma}_{11}^* & \boldsymbol{\Sigma}_{12}^* \\ \boldsymbol{\Sigma}_{21}^* & \boldsymbol{\Sigma}_{22}^* \\ \end{bmatrix}, \end{aligned} \end{equation}$$

Ở đâu:

$$\begin{equation} \begin{aligned} \begin{matrix} \boldsymbol{\Sigma}_{11}^* = \boldsymbol{\Sigma}_\text{S}^{-1} \text{ } \quad \quad \quad \quad & & & & & \boldsymbol{\Sigma}_{12}^* = -\boldsymbol{\Sigma}_\text{S}^{-1} \boldsymbol{\Sigma}_{12} \boldsymbol{\Sigma}_{22}^{-1}, \quad \quad \quad \\[6pt] \boldsymbol{\Sigma}_{21}^* = - \boldsymbol{\Sigma}_{22}^{-1} \boldsymbol{\Sigma}_{12} \boldsymbol{\Sigma}_\text{S}^{-1} & & & & & \boldsymbol{\Sigma}_{22}^* = \boldsymbol{\Sigma}_{22}^{-1} \boldsymbol{\Sigma}_{12} \boldsymbol{\Sigma}_\text{S}^{-1} \boldsymbol{\Sigma}_{12} \boldsymbol{\Sigma}_{22}^{-1}. \text{ } \\[6pt] \end{matrix} \end{aligned} \end{equation}$$

Sử dụng công thức này bây giờ chúng ta có thể viết khoảng cách Mahanalobis là:

$$\begin{equation} \begin{aligned} (\boldsymbol{y} - \boldsymbol{\mu})^\text{T} \boldsymbol{\Sigma}^{-1} (\boldsymbol{y} - \boldsymbol{\mu}) &= \begin{bmatrix} \boldsymbol{y}_1 - \boldsymbol{\mu}_1 \\ \boldsymbol{y}_2 - \boldsymbol{\mu}_2 \end{bmatrix}^\text{T} \begin{bmatrix} \boldsymbol{\Sigma}_{11}^* & \boldsymbol{\Sigma}_{12}^* \\ \boldsymbol{\Sigma}_{21}^* & \boldsymbol{\Sigma}_{22}^* \\ \end{bmatrix} \begin{bmatrix} \boldsymbol{y}_1 - \boldsymbol{\mu}_1 \\ \boldsymbol{y}_2 - \boldsymbol{\mu}_2 \end{bmatrix} \\[6pt] &= \quad (\boldsymbol{y}_1 - \boldsymbol{\mu}_1)^\text{T} \boldsymbol{\Sigma}_{11}^* (\boldsymbol{y}_1 - \boldsymbol{\mu}_1) + (\boldsymbol{y}_1 - \boldsymbol{\mu}_1)^\text{T} \boldsymbol{\Sigma}_{12}^* (\boldsymbol{y}_2 - \boldsymbol{\mu}_2) \\[6pt] &\quad + (\boldsymbol{y}_2 - \boldsymbol{\mu}_2)^\text{T} \boldsymbol{\Sigma}_{21}^* (\boldsymbol{y}_1 - \boldsymbol{\mu}_1) + (\boldsymbol{y}_2 - \boldsymbol{\mu}_2)^\text{T} \boldsymbol{\Sigma}_{22}^* (\boldsymbol{y}_2 - \boldsymbol{\mu}_2) \\[6pt] &= (\boldsymbol{y}_1 - (\boldsymbol{\mu}_1 + \boldsymbol{\Sigma}_{12} \boldsymbol{\Sigma}_{22}^{-1} (\boldsymbol{y}_2 - \boldsymbol{\mu}_2)))^\text{T} \boldsymbol{\Sigma}_\text{S}^{-1} (\boldsymbol{y}_1 - (\boldsymbol{\mu}_1 + \boldsymbol{\Sigma}_{12} \boldsymbol{\Sigma}_{22}^{-1} (\boldsymbol{y}_2 - \boldsymbol{\mu}_2))) \\[6pt] &= (\boldsymbol{y}_1 - \boldsymbol{\mu}_*)^\text{T} \boldsymbol{\Sigma}_*^{-1} (\boldsymbol{y}_1 - \boldsymbol{\mu}_*), \\[6pt] \end{aligned} \end{equation}$$

Ở đâu:

$$\begin{equation} \begin{aligned} \boldsymbol{\mu}_* &\equiv \boldsymbol{\mu}_1 + \boldsymbol{\Sigma}_{12} \boldsymbol{\Sigma}_{22}^{-1} (\boldsymbol{y}_2 - \boldsymbol{\mu}_2), \\[8pt] \boldsymbol{\Sigma}_* &\equiv \boldsymbol{\Sigma}_{11} - \boldsymbol{\Sigma}_{12} \boldsymbol{\Sigma}_{22}^{-1} \boldsymbol{\Sigma}_{21}. \\[6pt] \end{aligned} \end{equation}$$

Lưu ý rằng kết quả này là kết quả chung không giả định tính quy phạm của các vectơ ngẫu nhiên. Nó đưa ra một cách hữu ích để đóng khung lại khoảng cách Mahanalobis sao cho nó là một hình thức bậc hai đối với chỉ một trong các vectơ trong phân rã (với cái khác được hấp thụ vào ma trận trung bình và ma trận phương sai).

---

Xuất phát phân phối có điều kiện: Bây giờ chúng ta có dạng trên cho khoảng cách Mahanalobis, phần còn lại là dễ dàng. Chúng ta có:

$$\begin{equation} \begin{aligned} p(\boldsymbol{y}_1 | \boldsymbol{y}_2, \boldsymbol{\mu}, \boldsymbol{\Sigma}) &\overset{\boldsymbol{y}_1}{\propto} p(\boldsymbol{y}_1 , \boldsymbol{y}_2 | \boldsymbol{\mu}, \boldsymbol{\Sigma}) \\[12pt] &= \text{N}(\boldsymbol{y} | \boldsymbol{\mu}, \boldsymbol{\Sigma}) \\[10pt] &\overset{\boldsymbol{y}_1}{\propto} \exp \Big( - \frac{1}{2} (\boldsymbol{y} - \boldsymbol{\mu})^\text{T} \boldsymbol{\Sigma}^{-1} (\boldsymbol{y} - \boldsymbol{\mu}) \Big) \\[6pt] &= \exp \Big( - \frac{1}{2} (\boldsymbol{y}_1 - \boldsymbol{\mu}_*)^\text{T} \boldsymbol{\Sigma}_*^{-1} (\boldsymbol{y}_1 - \boldsymbol{\mu}_*) \Big) \\[6pt] &\overset{\boldsymbol{y}_1}{\propto}\text{N}(\boldsymbol{y}_1 | \boldsymbol{\mu}_*, \boldsymbol{\Sigma}_*). \\[6pt] \end{aligned} \end{equation}$$

Điều này xác định rằng phân phối có điều kiện cũng là đa biến thông thường, với vectơ trung bình có điều kiện và ma trận phương sai điều kiện được chỉ định.