Hiệp phương sai cho ba biến

Tôi đang cố gắng để hiểu làm thế nào ma trận hiệp phương sai hoạt động. Vì vậy, giả sử chúng ta có hai biến: , trong đó đưa ra mối quan hệ giữa các biến, tức là bao nhiêu phụ thuộc vào biến khác. $X, Y$ $\text{Cov}(X,Y) = \mathbb{E}[(x -\mathbb{E}[X])(y-\mathbb{E}[Y])]$

Bây giờ, ba trường hợp biến nó là ít rõ ràng đối với tôi. Một định nghĩa trực quan cho hàm hiệp phương sai sẽ là , nhưng thay vào đó, tài liệu cho thấy sử dụng ma trận hiệp phương sai được định nghĩa là hai biến số hiệp phương sai cho mỗi cặp biến. $\text{Cov}(X,Y,Z) = \mathbb{E}[(x -\mathbb{E}[X])(y-\mathbb{E}[Y])(z-\mathbb{E}[Z])]$

Vì vậy, hiệp phương sai có bao gồm thông tin đầy đủ về quan hệ biến? Nếu vậy, mối quan hệ với định nghĩa của tôi về gì? $\text{Cov}(X,Y,Z)$

correlation covariance moments

— Đá ong
nguồn

Tôi nghĩ rằng, tôi thấy rằng định nghĩa của tôi chỉ đơn giản là không hoạt động. Nhưng ma trận hiệp phương sai có đủ để định lượng mối quan hệ giữa tất cả các biến không?

— Karolis

Ma trận hiệp phương sai đủ để định lượng hiệp phương sai giữa tất cả các biến nhưng không phải là "quan hệ" vì đây là khái niệm chung (các biến có thể liên quan hoặc phụ thuộc theo nhiều cách phi tuyến tính khác nhau mà không bị bắt bởi hiệp phương sai). Một ngoại lệ cho điều này sẽ là nếu bạn biết các biến trong đó đa biến thường.

— Zachary Blumenfeld

Cảm ơn @ZacharyBlumenfeld! Bạn có thể giới thiệu một cuốn sách giáo khoa tốt về điều này?

— Karolis

Sự khác biệt giữa và trong thuật ngữ gì? Tôi biết ý của bạn về - đó là một biến ngẫu nhiên - và cũng bởi - đó là giá trị mong đợi của , một số thực - nhưng là gì? Nếu là một số thực khác, thì là một số thực - không có gì ngẫu nhiên về nó - và do đó định nghĩa của bạn giảm xuống vì giá trị mong đợi của một số thực là chính số thực .

x

$x$

X

$X$

x - E [X]

$x-E[X]$

X

$X$

E [X]

$E[X]$

X

$X$

x

$x$

x

$x$

x - E [X]

$x-E[X]$

cov (X, Y, Z) = E [(x - E [X]) (y - E [Y]) (z - E [Z])] = (x - E [X]) (y - E [Y]) (z - E [Z])

$\operatorname{cov}(X,Y,Z) = E[(x -E[X])(y-E[Y])(z-E[Z])] = (x -E[X])(y-E[Y])(z-E[Z])$

— Dilip Sarwate

@ZacharyBlumenfeld, nhận xét của bạn gần như đủ điều kiện là một câu trả lời. Có lẽ bạn nên mở rộng nó ra một chút (thêm rằng là một khoảnh khắc chéo trung tâm bậc ba, còn gì nữa) và đăng dưới dạng câu trả lời?

E [(x - E [X]) (y - E [Y]) (z - E [Z])]

$\mathbb{E}[(x -\mathbb{E}[X])(y-\mathbb{E}[Y])(z-\mathbb{E}[Z])]$

— Richard Hardy

Để mở rộng nhận xét của Zachary, ma trận hiệp phương sai không nắm bắt được "mối quan hệ" giữa hai biến ngẫu nhiên, vì "quan hệ" quá rộng của một khái niệm. Ví dụ: có lẽ chúng ta muốn bao gồm sự phụ thuộc của hai biến vào nhau để được đưa vào bất kỳ thước đo nào về "mối quan hệ" của chúng. Tuy nhiên, chúng ta biết rằng không ngụ ý rằng chúng độc lập, ví dụ như trường hợp có hai biến ngẫu nhiên X ~ U (-1,1) và Y = X ^ 2 (viết tắt là bằng chứng, xem: https://en.wikipedia.org/wiki/Covariance#Uncorrelatedness_and_independence ). $cov(X,Y)=0$

Vì vậy, nếu chúng tôi nghĩ rằng hiệp phương sai bao gồm thông tin đầy đủ về các mối quan hệ thay đổi, như bạn hỏi, hiệp phương sai bằng 0 sẽ đề nghị không phụ thuộc. Đây là những gì Zachary có nghĩa khi ông nói rằng có thể có những sự phụ thuộc phi tuyến tính mà hiệp phương sai không nắm bắt được.

Tuy nhiên, hãy để là đa biến thông thường, X ~ . Khi đó là iff độc lập là một ma trận đường chéo có tất cả các phần tử nằm ngoài đường chéo = 0 (nếu tất cả hiệp phương sai = 0). $X:=(X_{1},...,X_{n})'$ $N(\mu,\Sigma)$ $X_{1},...,X_{n}$ $\Sigma$

Để thấy rằng điều kiện này là đủ, hãy quan sát rằng các yếu tố mật độ khớp, .

f (x_{1}, . . ., x_{n}) = \frac{1}{\sqrt{(2 π)^{n} | Σ |}} e x p (- \frac{1}{2} (x - μ)^{'} Σ^{- 1} (x - μ)) = Π_{i = 1}^{n} \frac{1}{\sqrt{2 π σ_{i i}}} e x p (- \frac{(x_{i} - μ_{i})^{2}}{2 σ_{i i}}) = f_{1} (x_{1}) . . . f_{n} (x_{n})

$\begin{equation} f(x_{1},...,x_{n}) = \dfrac{1}{ \sqrt{(2 \pi)^{n} | \Sigma |}} exp(- \dfrac{1}{2} (x - \mu)' \Sigma^{-1} (x - \mu))= \Pi^{n}_{i=1} \dfrac{1}{\sqrt{2 \pi \sigma_{ii}}} exp(- \dfrac{(x_{i}-\mu_{i})^{2}}{2 \sigma_{ii}})=f_{1}(x_{1})...f_{n}(x_{n})\end{equation}$

Để thấy rằng điều kiện là cần thiết, hãy nhớ lại trường hợp bivariate. Nếu và độc lập, thì và phải có cùng phương sai, vì vậy $X_{1}$ $X_{2}$ $X_{1}$ $X_{1}|X_{2} = x_{2}$

σ_{11} = σ_{11 | 2} = σ_{11} - σ_{12}^{2} σ_{22}^{- 1}

$\begin{equation} \sigma_{11}=\sigma_{11|2}=\sigma_{11}-\sigma^{2}_{12} \sigma^{-1}_{22} \end{equation}$

trong đó ngụ ý . Theo cùng một lập luận, tất cả các yếu tố ngoài đường chéo của phải bằng không. $\sigma_{12}=0$ $\Sigma$

(nguồn: slide slide Kinh tế lượng tiên tiến của Geert Dhaene)

— hrrrrrr602602
nguồn