Nghịch đảo ma trận hiệp phương sai nói gì về dữ liệu? (Trực giác)

Tôi rất tò mò về bản chất của $\Sigma^{-1}$ . Cần ai biết chính xác điều gì đó trực quan về "gì $\Sigma^{-1}$ nói về dữ liệu?"

Biên tập:

Cảm ơn đã trả lời

Sau khi tham gia một số khóa học tuyệt vời, tôi muốn thêm một số điểm:

Đó là biện pháp thông tin, tức là là lượng thông tin theo hướng . $x^T\Sigma^{-1}x$ $x$
Nhị nguyên: Kể từ là tích cực nhất định, như vậy là , vì vậy chúng chỉ tiêu dot-sản phẩm, chính xác hơn họ là chuẩn mực kép của nhau, vì vậy chúng ta có thể lấy được Fenchel kép cho vấn đề bình phương nhỏ nhất regularized, và làm tối đa hóa wrt kép vấn đề. Chúng ta có thể chọn một trong hai, tùy thuộc vào điều hòa của họ. $\Sigma$ $\Sigma^{-1}$
Hilbert không gian: Cột (và các hàng) của và trải rộng cùng một không gian. Vì vậy, không có bất kỳ lợi thế (khác rằng khi một trong những ma trận ốm lạnh) giữa đại diện với hoặc $\Sigma^{-1}$ $\Sigma$ $\Sigma^{-1}$ $\Sigma$
$\Sigma^{-1}$ $\|\Sigma^{-1}\|\rightarrow 0$
Thống kê thường xuyên: Nó liên quan chặt chẽ đến thông tin của Fisher, sử dụng ràng buộc Cramérọt Rao. Trên thực tế, ma trận thông tin câu cá (sản phẩm bên ngoài của độ dốc của khả năng đăng nhập với chính nó) là Cramériêu Rao đã ràng buộc nó, tức là (hình nón bán xác định dương, nồng độ iewrt hình elip). Vì vậy, khi công cụ ước tính khả năng tối đa là hiệu quả, tức là thông tin tối đa tồn tại trong dữ liệu, do đó chế độ thường xuyên là tối ưu. Nói một cách đơn giản hơn, đối với một số hàm khả năng (lưu ý rằng dạng hàm của khả năng hoàn toàn phụ thuộc vào mô hình xác suất được cho là dữ liệu được tạo ra, còn gọi là mô hình tổng quát), khả năng tối đa là ước lượng hiệu quả và nhất quán, quy tắc như một ông chủ. (xin lỗi vì đã làm quá mức) $\Sigma^{-1}\preceq \mathcal{F}$ $\Sigma^{-1}=\mathcal{F}$

— Arya
nguồn

Tôi nghĩ PCA chọn ra eigenvector với giá trị riêng lớn hơn là giá trị riêng nhỏ.

— wdg

(3) Không chính xác, vì nó tương đương với việc khẳng định các cột của là các cột của (tối đa là một hoán vị), điều này chỉ đúng với ma trận danh tính.

Σ^{- 1}

$\Sigma^{-1}$

Σ

$\Sigma$

— whuber

Câu trả lời:

Nó là thước đo độ chính xác giống như là thước đo độ phân tán. $\Sigma$

Cụ thể hơn, là thước đo về cách các biến được phân tán xung quanh giá trị trung bình (các phần tử đường chéo) và cách chúng thay đổi cùng với các phần tử biến (đường chéo) khác. Sự phân tán càng xa nhau hơn so với giá trị trung bình và chúng càng thay đổi (theo giá trị tuyệt đối) với các biến khác, xu hướng của chúng càng "di chuyển cùng nhau" (theo cùng hướng hoặc ngược lại tùy thuộc vào dấu hiệu hiệp phương sai). $\Sigma$

Tương tự, là thước đo mức độ tập hợp chặt chẽ của các biến xung quanh giá trị trung bình (các phần tử đường chéo) và mức độ chúng không thay đổi cùng với các biến khác (các phần tử nằm ngoài đường chéo). Do đó, phần tử đường chéo càng cao, biến càng chặt được tập hợp xung quanh giá trị trung bình. Việc giải thích các yếu tố ngoài đường chéo là tinh tế hơn và tôi giới thiệu cho bạn các câu trả lời khác cho cách giải thích đó. $\Sigma^{-1}$

— chống đỡ
nguồn

Một ví dụ phản biện mạnh mẽ cho tuyên bố cuối cùng của bạn về các yếu tố ngoài đường chéo trong được cung cấp bởi ví dụ không đơn giản nhất trong hai chiều, Các off-đường chéo lớn hơn giá trị tương ứng với nhiều giá trị cực đoan của hệ số tương quan mà là ngược lại với những gì bạn dường như đang nói.

Σ^{- 1}

$\Sigma^{-1}$

Σ^{- 1} = (\begin{array}{cc} \frac{1}{1 - ρ^{2}} & - \frac{ρ}{1 - ρ^{2}} \\ - \frac{ρ}{1 - ρ^{2}} & \frac{1}{1 - ρ^{2}} \end{array}) .

$\Sigma^{-1}=\left( \begin{array}{cc} \frac{1}{1-\rho ^2} & -\frac{\rho }{1-\rho ^2} \\ -\frac{\rho }{1-\rho ^2} & \frac{1}{1-\rho ^2} \\ \end{array} \right).$

ρ,

$\rho,$

— whuber

@whuber Đúng rồi. Tôi nên loại bỏ từ 'tuyệt đối' trong câu cuối cùng. Cảm ơn

— chống đỡ

Cảm ơn, nhưng điều đó vẫn không giải quyết được vấn đề: mối quan hệ bạn khẳng định giữa các yếu tố ngoài đường chéo của nghịch đảo và đồng biến thể không tồn tại.

— whuber

@whuber Tôi nghĩ nó làm. Trong ví dụ của bạn, các yếu tố ngoài đường chéo là âm. Do đó, khi tăng các yếu tố ngoài đường chéo giảm. Bạn có thể kiểm tra điều này bằng cách lưu ý những điều sau: tại phần tử đường chéo là ; khi tiếp cận cách tiếp cận các yếu tố ngoài đường chéo và đạo hàm của yếu tố ngoài đường chéo đối với là âm.

ρ

$\rho$

ρ = 0

$\rho = 0$

0

$0$

ρ

$\rho$

1

$1$

- \infty

$-\infty$

ρ

$\rho$

— chống đỡ

Các yếu tố ngoài đường chéo của tôi là dương khi

ρ < 0.

$\rho\lt 0.$

— whuber

Sử dụng các siêu ký tự để biểu thị các phần tử của nghịch đảo, là phương sai của thành phần của biến không tương thích với các biến khác và là mối tương quan một phần của các biến và , kiểm soát các biến khác. $1/\sigma^{ii}$ $i$ $p-1$ $-\sigma^{ij}/\sqrt{\sigma^{ii}\sigma^{jj}}$ $i$ $j$ $p-2$

— Ray Koopman
nguồn