Là một ma trận hiệp phương sai mẫu luôn luôn đối xứng và xác định dương?

33

Khi tính toán ma trận hiệp phương sai của một mẫu, sau đó có đảm bảo có được ma trận đối xứng và xác định dương không?

Hiện tại vấn đề của tôi có một mẫu gồm 4600 vectơ quan sát và 24 chiều.

sampling covariance

— Vữa
nguồn

Để lấy mẫu ma trận hiệp phương sai, tôi sử dụng công thức: trong đó là số lượng mẫu và là giá trị trung bình của mẫu.

Q_{n} = \frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{⊤}

$Q_n = \frac{1}{n} \sum\limits_{i=1}^n (x_i-\bar{x})(x_i-\bar{x})^\top$

n

$n$

\bar{x}

$\bar{x}$

— Morten

4

Điều đó thường được gọi là 'tính toán ma trận hiệp phương sai mẫu' hoặc 'ước tính ma trận hiệp phương sai' thay vì 'lấy mẫu ma trận hiệp phương sai'.

— Glen_b -Reinstate Monica

1

Một tình huống phổ biến trong đó ma trận hiệp phương sai không xác định là khi 24 "kích thước" ghi lại thành phần của hỗn hợp tổng hợp đến 100%.

— whuber

41

Đối với một mẫu vectơ , với , vectơ trung bình mẫu là và ma trận hiệp phương sai mẫu là Đối với một vectơ khác 0 , chúng ta có Do đó, luôn có giá trị bán xác định dương . $x_i=(x_{i1},\dots,x_{ik})^\top$ $i=1,\dots,n$

\bar{x} = = \frac{1}{n} Σ_{tôi = = 1}^{n} x_{tôi},

$\bar{x}=\frac{1}{n} \sum_{i=1}^n x_i \, ,$

Q = = \frac{1}{n} Σ_{tôi = = 1}^{n} (x_{tôi} - \bar{x}) (x_{tôi} - \bar{x})^{⊤} .

$Q = \frac{1}{n} \sum_{i=1}^n (x_i-\bar{x})(x_i-\bar{x})^\top \, .$

y \in R^{k}

$y\in\mathbb{R}^k$

y^{⊤} Q y = = y^{⊤} (\frac{1}{n} Σ_{tôi = = 1}^{n} (x_{tôi} - \bar{x}) (x_{tôi} - \bar{x})^{⊤}) y

$y^\top Qy = y^\top\left(\frac{1}{n} \sum_{i=1}^n (x_i-\bar{x})(x_i-\bar{x})^\top\right) y$

= = \frac{1}{n} Σ_{tôi = = 1}^{n} y^{⊤} (x_{tôi} - \bar{x}) (x_{tôi} - \bar{x})^{⊤} y

$= \frac{1}{n} \sum_{i=1}^n y^\top (x_i-\bar{x})(x_i-\bar{x})^\top y$

= = \frac{1}{n} Σ_{tôi = = 1}^{n} {((x_{tôi} - \bar{x})^{⊤} y)}^{2} \geq 0 . (*)

$= \frac{1}{n} \sum_{i=1}^n \left( (x_i-\bar{x})^\top y \right)^2 \geq 0 \, . \quad (*)$

Q

$Q$

Điều kiện bổ sung để có giá trị xác định dương được đưa ra trong phần bình luận dưới đây. Nó diễn ra như sau. $Q$

Xác định , cho . Với mọi giá trị khác , bằng 0 khi và chỉ khi , với mỗi . Giả sử tập hợp kéo dài . Sau đó, có các số thực sao cho . Nhưng sau đó, chúng ta có , cho rằng , một mâu thuẫn. Do đó, nếu span của , thì $z_i=(x_i-\bar{x})$ $i=1,\dots,n$ $y\in\mathbb{R}^k$ $(*)$ $z_i^\top y=0$ $i=1,\dots,n$ $\{z_1,\dots,z_n\}$ $\mathbb{R}^k$ $\alpha_1,\dots,\alpha_n$ $y=\alpha_1 z_1 +\dots+\alpha_n z_n$ $y^\top y=\alpha_1 z_1^\top y + \dots +\alpha_n z_n^\top y=0$ $y=0$ $z_i$ $\mathbb{R}^k$ $Q$ là xác định tích cực . Điều kiện này tương đương với . $\mathrm{rank} [z_1 \dots z_n] = k$

— Thiền
nguồn

2

Tôi thích cách tiếp cận này, nhưng sẽ khuyên một số quan tâm: không nhất thiết phải tích cực. Các điều kiện (cần và đủ) để được như vậy được mô tả trong nhận xét của tôi đối với câu trả lời của Konstantin.

Q

$Q$

— whuber

1

Vì thứ hạng của nhỏ hơn hoặc bằng , nên điều kiện có thể được đơn giản hóa để xếp hạng bằng với k.

[z_{1}, z_{2}, \dots, z_{n}]

$[z_1, z_2, \cdots, z_n]$

k

$k$

— một đề nghị không thể từ chối

13

Một ma trận hiệp phương sai đúng luôn luôn đối xứng và dương * semi * xác định.

Hiệp phương sai giữa hai biến được xác định là . $\sigma(x,y) = E [(x-E(x))(y-E(y))]$

Phương trình này không thay đổi nếu bạn chuyển đổi vị trí của và . Do đó ma trận phải đối xứng. $x$ $y$

Nó cũng phải tích cực * semi- xác định vì:

Bạn luôn có thể tìm thấy một phép biến đổi các biến của mình theo cách ma trận hiệp phương sai trở thành đường chéo. Trên đường chéo, bạn tìm thấy các phương sai của các biến được biến đổi bằng 0 hoặc dương, dễ dàng nhận thấy rằng điều này làm cho ma trận biến đổi có giá trị dương. Tuy nhiên, do định nghĩa về độ lệch là biến đổi-bất biến, nên theo sau ma trận hiệp phương sai là nửa cực dương trong bất kỳ hệ tọa độ được chọn nào.

Khi bạn ước tính ma trận hiệp phương sai của bạn (nghĩa là khi bạn tính hiệp phương sai mẫu của bạn ) với công thức bạn đã nêu ở trên, nó sẽ obv. vẫn đối xứng. Nó cũng phải là nửa cực dương (tôi nghĩ), bởi vì đối với mỗi mẫu, pdf cung cấp cho mỗi điểm mẫu xác suất bằng nhau có hiệp phương sai mẫu là hiệp phương sai của nó (ai đó vui lòng xác minh điều này), vì vậy mọi thứ nêu trên vẫn được áp dụng.

— Konstantin Schubert
nguồn

1

Tái bút: Tôi bắt đầu nghĩ rằng đây không phải là câu hỏi của bạn ...

— Konstantin Schubert

Nhưng nếu bạn muốn biết liệu thuật toán lấy mẫu của bạn có đảm bảo hay không, bạn sẽ phải nói rõ bạn đang lấy mẫu như thế nào.

— Konstantin Schubert

1

Morten, sự đối xứng là ngay lập tức từ công thức. Để hiển thị bán tính xác định, bạn cần phải thiết lập rằng cho bất kỳ vector . Nhưng là lần một khoản (nơi , từ đâu là một tổng của = , mà là độ dài bình phương của vectơ . Vì và một tổng bình phương không bao giờ có thể âm, , QED . Điều này cũng cho thấy chính xác cho các vectơ

u Q_{n} u^{'} \geq 0

$uQ_nu'\ge 0$

u

$u$

Q_{n}

$Q_n$

1 / n

$1/n$

v_{i} v_{i}^{'}

$v_iv_i'$

v_{i} = x_{i} - \bar{x})

$v_i=x_i-\bar{x})$

n u Q_{n} u^{'}

$n uQ_nu'$

u (v_{i} v_{i}^{'}) u^{'}

$u(v_iv_i')u'$

(u v_{i}) (u v_{i})^{'}

$(uv_i)(uv_i)'$

u v_{i}

$uv_i$

n > 0

$n\gt 0$

u Q_{n} u^{'} \geq 0

$uQ_nu'\ge 0$

u Q_{n} u^{'} = 0

$uQ_nu'=0$

u

$u$ mà là trực giao với tất cả các ( tức là , cho tất cả ). Khi nhịp , thì và là xác định.

v_{i}

$v_i$

u v_{i} = 0

$uv_i=0$

i

$i$

v_{i}

$v_i$

u = 0

$u=0$

Q_{n}

$Q_n$

— whuber

1

@Morten Phép biến đổi bất biến khá rõ ràng nếu bạn hiểu phép nhân ma trận về mặt hình học. Hãy nghĩ về vector của bạn như một mũi tên. Các số mô tả vectơ của bạn thay đổi theo hệ tọa độ, nhưng hướng và độ dài của vectơ không. Bây giờ, phép nhân với ma trận có nghĩa là bạn thay đổi độ dài và hướng của mũi tên đó, nhưng một lần nữa hiệu ứng lại giống nhau về mặt hình học trong mỗi hệ tọa độ. Điều tương tự cũng xảy ra với một sản phẩm vô hướng: Nó được định nghĩa hình học và Geometriy là biến đổi-bất biến. Vì vậy, phương trình của bạn có cùng kết quả trong tất cả các hệ thống.

— Konstantin Schubert

1

@Morten Khi bạn nghĩ theo tọa độ, đối số sẽ như sau: Khi

là ma trận biến đổi của bạn thì:

với

là vectơ tọa độ biến đổi,

, vì vậy khi bạn biến đổi từng phần tử trong phương trình

, bạn nhận được

A

$A$

v^{'} = A v

$v'=Av$

v^{'}

$v'$

M^{'} = A M A^{T}

$M'=AMA^T$

v^{T} M v > 0

$v^T M v > 0$

, bằng

và, vì A là trực giao,

là ma trận đơn vị và chúng ta lại nhận được

, có nghĩa là biến đổi và phương trình không được dịch có cùng vô hướng với kết quả, vì vậy chúng là cả hai hoặc cả hai đều không lớn hơn 0.

v^{' T} M^{'} v^{'} = (A v)^{T} A M A^{T} A v > 0

$v'^T M' v' = (Av)^T A M A^T A v > 0$

v^{T} A^{T} A M A^{T} A v > 0

$v^T A^T A M A^T A v > 0$

A^{T} A

$A^T A$

v^{T} M v > 0

$v^T M v > 0$

— Konstantin Schubert

0

Ma trận phương sai-hiệp phương sai luôn đối xứng, vì nó có thể được chứng minh từ phương trình thực tế để tính toán từng số hạng của ma trận đã nói.

Ngoài ra, ma trận phương sai-hiệp phương sai luôn là ma trận vuông có kích thước n, trong đó n là số lượng biến trong thí nghiệm của bạn.

Eigenvector của ma trận đối xứng luôn luôn trực giao.

Với PCA, bạn xác định giá trị riêng của ma trận để xem liệu bạn có thể giảm số lượng biến được sử dụng trong thử nghiệm của mình không.

— GEN
nguồn

1

Chào mừng Gen. Lưu ý rằng tên người dùng, nhận dạng và liên kết đến trang người dùng của bạn sẽ tự động được thêm vào mỗi bài đăng bạn thực hiện, do đó không cần phải đăng bài viết của bạn.

— Antoine Vernet

3

Câu trả lời này có thể được cải thiện bằng cách giải quyết vấn đề về sự dứt khoát tích cực

— Silverfish

Điều này không thực sự trả lời câu hỏi: nó chỉ là một tập hợp các xác nhận không được hỗ trợ có thể có hoặc không có liên quan. Bạn có thể điều chỉnh lại nó theo cách cho thấy câu hỏi được trả lời và giải thích lý do như thế nào không?

— whuber

0

Tôi sẽ thêm vào lập luận tốt đẹp của Zen sau đó giải thích tại sao chúng ta thường nói rằng ma trận hiệp phương sai là dương nhất định nếu . $n-1\geq k$

Nếu là một mẫu ngẫu nhiên của phân phối xác suất liên tục sau đó gần như chắc chắn (theo nghĩa lý thuyết xác suất) độc lập tuyến tính. Bây giờ, không độc lập tuyến tính vì $x_1,x_2,...,x_n$ $x_1,x_2,...,x_n$ $z_1,z_2,...,z_n$ , nhưng vì là độc lập tuyến tính, là nhịp . Nếu , họ cũng khoảng . $\sum_{i=1}^n z_i = 0$ $x_1,x_2,...,x_n$ $z_1,z_2,...,z_n$ $\mathbb{R}^{n-1}$ $n-1\geq k$ $\mathbb{R}^k$

Để kết luận, nếu là một mẫu ngẫu nhiên của một phân bố xác suất liên tục và , ma trận hiệp phương sai là dương tính nhất định. $x_1,x_2,...,x_n$ $n-1\geq k$

— giominas
nguồn

0

Đối với những người có nền tảng phi toán học như tôi, người không nhanh chóng nắm bắt được các công thức toán học trừu tượng, đây là một ví dụ xuất sắc cho câu trả lời được đánh giá cao nhất. Ma trận hiệp phương sai cũng có thể được suy ra theo những cách khác.

— Parikshit Bhinde
nguồn

Bạn có thể giải thích làm thế nào bảng tính này thể hiện tính tích cực của ma trận hiệp phương sai?

— whuber

Nó không. Tôi đã có một thời gian khó hình dung ma trận hiệp phương sai ở dạng ký hiệu của chính nó. Vì vậy, tôi đã tạo ra tờ này cho chính mình và nghĩ rằng nó có thể giúp đỡ một ai đó.

— Parikshit Bhinde

Xin vui lòng, sau đó, chỉnh sửa nó để bao gồm một câu trả lời cho câu hỏi.

— whuber

Xong :) Cảm ơn đã gợi ý.

— Parikshit Bhinde

Câu hỏi đặt ra là "sau đó có đảm bảo có được ma trận đối xứng và xác định dương không?" Tôi không thể nhận thấy bất kỳ yếu tố nào trong bài đăng của bạn đề cập đến vấn đề này, bởi vì (1) nó không bao giờ xác định được ma trận hiệp phương sai; (2) nó không chứng minh tính tích cực của bất cứ điều gì.

— whuber