Tại sao nghịch đảo của ma trận hiệp phương sai mang lại mối tương quan một phần giữa các biến ngẫu nhiên?

Tôi nghe nói rằng có thể tìm thấy mối tương quan một phần giữa các biến ngẫu nhiên bằng cách đảo ngược ma trận hiệp phương sai và lấy các ô thích hợp từ ma trận chính xác kết quả như vậy (thực tế này được đề cập trong http://en.wikipedia.org/wiki/Partial_correlation , nhưng không có bằng chứng) .

Tại sao điều này là trường hợp?

— michal
nguồn

Nếu bạn có nghĩa là để có được mối tương quan một phần trong một ô được kiểm soát cho tất cả các biến khác, thì đoạn cuối ở đây có thể làm sáng tỏ.

— ttnphns 3/03/2015

Câu trả lời:

Khi một biến ngẫu nhiên đa biến có một không suy biến hiệp phương sai ma trận , bộ tất cả các tổ hợp tuyến tính thực sự của tạo thành một không gian vector thực chiều với cơ sở và một sản phẩm bên trong không thoái hóa do $(X_1,X_2,\ldots,X_n)$ $\mathbb{C} = (\gamma_{ij}) = (\text{Cov}(X_i,X_j))$ $X_i$ $n$ $E=(X_1,X_2,\ldots, X_n)$

⟨ X_{i}, X_{j} ⟩ = γ_{i j} .

$\langle X_i,X_j \rangle = \gamma_{ij}\ .$

Cơ sở kép của nó đối với sản phẩm bên trong này , , được xác định duy nhất bởi các mối quan hệ $E^{*} = (X_1^{*},X_2^{*}, \ldots, X_n^{*})$

⟨ X_{i}^{*}, X_{j} ⟩ = δ_{i j},

$\langle X_i^{*}, X_j \rangle = \delta_{ij}\ ,$

đồng bằng Kronecker (bằng khi và nếu không). $1$ $i=j$ $0$

Cơ sở kép được quan tâm ở đây vì tương quan một phần của và có được là mối tương quan giữa phần còn lại sau khi chiếu nó vào không gian được kéo dài bởi tất cả các vectơ khác (hãy gọi đơn giản là "phần dư" của nó, ) và phần so sánh của , còn lại của nó . Tuy nhiên là một vector mà là trực giao với tất cả các vectơ ngoài và có sản phẩm bên trong dương tính với đâu phải là bội số không âm của , và tương tự như vậy cho $X_i$ $X_j$ $X_i$ $X_{i\circ}$ $X_j$ $X_{j\circ}$ $X_i^{*}$ $X_i$ $X_i$ $X_{i\circ}$ $X_i^{*}$ $X_j$ . Do đó chúng ta hãy viết

X_{i \circ} = λ_{i} X_{i}^{*}, X_{j \circ} = λ_{j} X_{j}^{*}

$X_{i\circ} = \lambda_i X_i^{*},\ X_{j\circ} = \lambda_j X_j^{*}$

cho các số thực dương và . $\lambda_i$ $\lambda_j$

Tương quan một phần là sản phẩm chấm chuẩn hóa của phần dư, không thay đổi bằng cách thay đổi kích thước:

ρ_{i j \circ} = \frac{⟨ X_{i \circ}, X_{j \circ} ⟩}{\sqrt{⟨ X_{i \circ}, X_{i \circ} ⟩ ⟨ X_{j \circ}, X_{j \circ} ⟩}} = \frac{λ_{i} λ_{j} ⟨ X_{i}^{*}, X_{j}^{*} ⟩}{\sqrt{λ_{i}^{2} ⟨ X_{i}^{*}, X_{i}^{*} ⟩ λ_{j}^{2} ⟨ X_{j}^{*}, X_{j}^{*} ⟩}} = \frac{⟨ X_{i}^{*}, X_{j}^{*} ⟩}{\sqrt{⟨ X_{i}^{*}, X_{i}^{*} ⟩ ⟨ X_{j}^{*}, X_{j}^{*} ⟩}} .

$\rho_{ij\circ} = \frac{\langle X_{i\circ}, X_{j\circ} \rangle}{\sqrt{\langle X_{i\circ}, X_{i\circ} \rangle\langle X_{j\circ}, X_{j\circ} \rangle}} = \frac{\lambda_i\lambda_j\langle X_{i}^{*}, X_{j}^{*} \rangle}{\sqrt{\lambda_i^2\langle X_{i}^{*}, X_{i}^{*} \rangle\lambda_j^2\langle X_{j}^{*}, X_{j}^{*} \rangle}} = \frac{\langle X_{i}^{*}, X_{j}^{*} \rangle}{\sqrt{\langle X_{i}^{*}, X_{i}^{*} \rangle\langle X_{j}^{*}, X_{j}^{*} \rangle}}\ .$

(Trong cả hai trường hợp, mối tương quan một phần sẽ bằng 0 bất cứ khi nào phần dư là trực giao, cho dù chúng có khác không hay không.)

Chúng ta cần tìm các sản phẩm bên trong của các yếu tố cơ bản kép. Để kết thúc này, mở rộng các yếu tố cơ sở kép theo cơ sở ban đầu : $E$

X_{i}^{*} = \sum_{j = 1}^{n} β_{i j} X_{j} .

$X_i^{*} = \sum_{j=1}^n \beta_{ij} X_j\ .$

Sau đó theo định nghĩa

δ_{i k} = ⟨ X_{i}^{*}, X_{k} ⟩ = \sum_{j = 1}^{n} β_{i j} ⟨ X_{j}, X_{k} ⟩ = \sum_{j = 1}^{n} β_{i j} γ_{j k} .

$\delta_{ik} = \langle X_i^{*}, X_k \rangle = \sum_{j=1}^n \beta_{ij}\langle X_j, X_k \rangle = \sum_{j=1}^n \beta_{ij}\gamma_{jk}\ .$

Trong ký hiệu ma trận với ma trận danh tính và ma trận thay đổi cơ sở, trạng thái này $\mathbb{I} = (\delta_{ij})$ $\mathbb{B} = (\beta_{ij})$

I = B C .

$\mathbb{I} = \mathbb{BC}\ .$

Đó là, , đó chính xác là những gì bài viết Wikipedia đang khẳng định. Công thức trước đây cho tương quan một phần cho $\mathbb{B} = \mathbb{C}^{-1}$

ρ_{i j \cdot} = \frac{β_{i j}}{\sqrt{β_{i i} β_{j j}}} = \frac{C_{i j}^{- 1}}{\sqrt{C_{i i}^{- 1} C_{j j}^{- 1}}} .

$\rho_{ij\cdot} = \frac{\beta_{ij}}{\sqrt{\beta_{ii} \beta_{jj}}} = \frac{\mathbb{C}^{-1}_{ij}}{\sqrt{\mathbb{C}^{-1}_{ii} \mathbb{C}^{-1}_{jj}}}\ .$

— whuber
nguồn

+1, câu trả lời tuyệt vời. Nhưng tại sao bạn gọi cơ sở kép này là "cơ sở kép đối với sản phẩm bên trong này" - "đối với sản phẩm bên trong này" nghĩa là gì? Có vẻ như bạn sử dụng thuật ngữ "cơ sở kép" như được định nghĩa ở đây mathworld.wolfram.com/DualVectorSpace.html trong đoạn thứ hai ("Cho một cơ sở không gian vectơ cho tồn tại cơ sở kép .. . ") hoặc ở đây en.wikipedia.org/wiki/Dual_bocation và nó độc lập với bất kỳ sản phẩm vô hướng nào.

v_{1}, . . ., v_{n}

$v_1, ..., v_n$

V

$V$

— amip nói rằng Phục hồi lại

@amoeba Có hai loại đối ngẫu. Dual (tự nhiên) của bất kỳ không gian vectơ trên một trường là tập hợp các hàm tuyến tính , được gọi là . Không có cách chính tắc nào để xác định với , mặc dù chúng có cùng chiều khi là chiều hữu hạn. Bất kỳ sản phẩm bên trong tương ứng với bản đồ và ngược lại , thông qua(Tính không biến đổi của đảm bảo là một đẳng cấu không gian vectơ.) Điều này đưa ra cách để xem các phần tử của

V

$V$

R

$R$

ϕ : V \to R

$\phi:V\to R$

V^{*}

$V^*$

V^{*}

$V^*$

V

$V$

V

$V$

γ

$\gamma$

g : V \to V^{*}

$g:V\to V^*$

g (v) (w) = γ (v, w) .

$g(v)(w)=\gamma(v,w).$

γ

$\gamma$

g

$g$

V

$V$ như thể chúng là các yếu tố của nhưng nó phụ thuộc vào .

V^{*}

$V^*$

γ

$\gamma$

— whuber

@mpettis Những chấm đó thật khó để ý. Tôi đã thay thế chúng bằng các vòng tròn mở nhỏ để làm cho ký hiệu dễ đọc hơn. Cảm ơn đã chỉ ra điều này.

— whuber

Câu trả lời máy bay của @Andy Ron Christensen cho các câu hỏi phức tạp có thể là thứ bạn đang tìm kiếm. Thật không may, cách tiếp cận của ông làm cho (IMHO) phụ thuộc quá mức vào các đối số và tính toán phối hợp. Trong phần giới thiệu ban đầu (xem trang. Xiii), Christensen giải thích rằng vì lý do sư phạm.

— whuber

@whuber, Bằng chứng của bạn thật tuyệt vời. Tôi tự hỏi liệu bất kỳ cuốn sách hoặc bài viết có chứa một bằng chứng như vậy để tôi có thể trích dẫn.

— Harry

Dưới đây là một bằng chứng chỉ với các tính toán ma trận.

Tôi đánh giá cao câu trả lời của whuber. Nó là rất sâu sắc về toán học đằng sau hậu trường. Tuy nhiên, vẫn chưa quá tầm thường khi sử dụng câu trả lời của mình để có được dấu trừ trong công thức được nêu trong wikipedia Partial_correlation # Sử dụng_matrix_inversion .

ρ_{X_{i} X_{j} \cdot V ∖ {X_{i}, X_{j}}} = - \frac{p_{i j}}{\sqrt{p_{i i} p_{j j}}}

$\rho_{X_iX_j\cdot \mathbf{V} \setminus \{X_i,X_j\}} = - \frac{p_{ij}}{\sqrt{p_{ii}p_{jj}}}$

Để có được dấu trừ này, đây là một bằng chứng khác mà tôi tìm thấy trong "Mô hình đồ họa Lauriten 1995 Trang 130". Nó chỉ đơn giản được thực hiện bởi một số tính toán ma trận.

Khóa là danh tính ma trận sau: trong đó , và .

{(\begin{matrix} A & B \\ C & D \end{matrix})}^{- 1} = (\begin{matrix} E^{- 1} & - E^{- 1} G \\ - F E^{- 1} & D^{- 1} + F E^{- 1} G \end{matrix})

$\begin{pmatrix} A & B \\ C & D \end{pmatrix}^{-1} = \begin{pmatrix} E^{-1} & -E^{-1}G \\ -FE^{-1} & D^{-1}+FE^{-1}G \end{pmatrix}$

E = A - B D^{- 1} C

$E = A - BD^{-1}C$

F = D^{- 1} C

$F = D^{-1}C$

G = B D^{- 1}

$G = BD^{-1}$

Viết xuống ma trận hiệp phương sai như nơi là Ma trận hiệp phương sai của và là ma trận hiệp phương sai của .

Ω = (\begin{matrix} Ω_{11} & Ω_{12} \\ Ω_{21} & Ω_{22} \end{matrix})

$\Omega = \begin{pmatrix} \Omega_{11} & \Omega_{12} \\ \Omega_{21} & \Omega_{22} \end{pmatrix}$

Ω_{11}

$\Omega_{11}$

(X_{i}, X_{j})

$(X_i, X_j)$

Ω_{22}

$\Omega_{22}$

V ∖ {X_{i}, X_{j}}

$\mathbf{V} \setminus \{X_i, X_j \}$

Đặt . Tương tự, viết dưới dạng $P = \Omega^{-1}$ $P$

P = (\begin{matrix} P_{11} & P_{12} \\ P_{21} & P_{22} \end{matrix})

$P = \begin{pmatrix} P_{11} & P_{12} \\ P_{21} & P_{22} \end{pmatrix}$

Theo danh tính ma trận khóa,

P_{11}^{- 1} = Ω_{11} - Ω_{12} Ω_{22}^{- 1} Ω_{21}

$P_{11}^{-1} = \Omega_{11} - \Omega_{12}\Omega_{22}^{-1}\Omega_{21}$

Chúng ta cũng biết rằng là ma trận hiệp phương sai của (từ Multivariate_n ). Do đó, mối tương quan một phần là Tôi sử dụng ký hiệu rằng mục nhập của ma trận được ký hiệu là . $\Omega_{11} - \Omega_{12}\Omega_{22}^{-1}\Omega_{21}$ $(X_i, X_j) | \mathbf{V} \setminus \{X_i, X_j\}$

ρ_{X_{i} X_{j} \cdot V ∖ {X_{i}, X_{j}}} = \frac{[P_{11}^{- 1}]_{12}}{\sqrt{[P_{11}^{- 1}]_{11} [P_{11}^{- 1}]_{22}}} .

$\rho_{X_iX_j\cdot \mathbf{V} \setminus \{X_i,X_j\}} = \frac{[P_{11}^{-1}]_{12}}{\sqrt{[P_{11}^{-1}]_{11}[P_{11}^{-1}]_{22}}}.$

(k, l)

$(k,l)$

M

$M$

[M]_{k l}

$[M]_{kl}$

Chỉ cần công thức đảo ngược đơn giản của ma trận 2 nhân 2,

(\begin{matrix} [P_{11}^{- 1}]_{11} & [P_{11}^{- 1}]_{12} \\ [P_{11}^{- 1}]_{21} & [P_{11}^{- 1}]_{22} \end{matrix}) = P_{11}^{- 1} = \frac{1}{det P_{11}} (\begin{matrix} [P_{11}]_{22} & - [P_{11}]_{12} \\ - [P_{11}]_{21} & [P_{11}]_{11} \end{matrix})

$\begin{pmatrix} [P_{11}^{-1}]_{11} & [P_{11}^{-1}]_{12} \\ [P_{11}^{-1}]_{21} & [P_{11}^{-1}]_{22} \\ \end{pmatrix} = P_{11}^{-1} = \frac{1}{\text{det} P_{11}} \begin{pmatrix} [P_{11}]_{22} & -[P_{11}]_{12} \\ -[P_{11}]_{21} & [P_{11}]_{11} \\ \end{pmatrix}$

Do đó, , đó chính xác là những gì bài viết Wikipedia đang khẳng định .

ρ_{X_{i} X_{j} \cdot V ∖ {X_{i}, X_{j}}} = \frac{[P_{11}^{- 1}]_{12}}{\sqrt{[P_{11}^{- 1}]_{11} [P_{11}^{- 1}]_{22}}} = \frac{- \frac{1}{det P_{11}} [P_{11}]_{12}}{\sqrt{\frac{1}{det P_{11}} [P_{11}]_{22} \frac{1}{det P_{11}} [P_{11}]_{11}}} = \frac{- [P_{11}]_{12}}{\sqrt{[P_{11}]_{22} [P_{11}]_{11}}}

$\rho_{X_iX_j\cdot \mathbf{V} \setminus \{X_i,X_j\}} = \frac{[P_{11}^{-1}]_{12}}{\sqrt{[P_{11}^{-1}]_{11}[P_{11}^{-1}]_{22}}} = \frac{- \frac{1}{\text{det}P_{11}}[P_{11}]_{12}}{\sqrt{\frac{1}{\text{det}P_{11}}[P_{11}]_{22}\frac{1}{\text{det}P_{11}}[P_{11}]_{11}}} = \frac{-[P_{11}]_{12}}{\sqrt{[P_{11}]_{22}[P_{11}]_{11}}}$

— Thơ C.
nguồn

Nếu chúng ta cho phép i=j, rho_ii V\{X_i, X_i} = -1làm thế nào để chúng ta giải thích các yếu tố đường chéo trong ma trận chính xác?

— Jason

Điểm tốt. Công thức chỉ nên hợp lệ cho i = / = j. Từ bằng chứng, dấu trừ xuất phát từ phép đảo ngược ma trận 2 nhân 2. Nó sẽ không xảy ra nếu i = j.

— Po C.

Vì vậy, các số đường chéo không thể được liên kết với tương quan một phần. Họ đại diện cho cái gì? Chúng không chỉ là nghịch đảo của phương sai, phải không?

— Jason

Công thức này có giá trị cho i = / = j. Nó là vô nghĩa đối với i = j.

— Po C.

Lưu ý rằng dấu hiệu của câu trả lời thực sự phụ thuộc vào cách bạn xác định tương quan một phần. Có một sự khác biệt giữa hồi quy và trên các biến khác so với hồi quy và trên các biến khác với nhau. Theo định nghĩa thứ hai, hãy để mối tương quan giữa phần dư và là . Khi đó, mối tương quan một phần của hai (hồi quy trên và ngược lại) là . $X_i$ $X_j$ $n - 1$ $X_i$ $X_j$ $n - 2$ $\epsilon_i$ $\epsilon_j$ $\rho$ $\epsilon_i$ $\epsilon_j$ $-\rho$

Điều này giải thích sự nhầm lẫn trong các ý kiến trên, cũng như trên Wikipedia. Định nghĩa thứ hai được sử dụng phổ biến từ những gì tôi có thể nói, do đó cần có một dấu hiệu tiêu cực.

Ban đầu tôi đã đăng một bản chỉnh sửa cho câu trả lời khác, nhưng đã mắc lỗi - xin lỗi về điều đó!

— Johnny Hồ
nguồn