Tại sao một ma trận hiệp phương sai mẫu là số ít khi kích thước mẫu nhỏ hơn số lượng biến?

30

Giả sử tôi có phân phối Gaussian đa biến . Và tôi giữ lấy quan sát (mỗi người một -vector) từ phân phối này và tính toán mẫu hiệp phương sai ma trận . Trong bài báo này , các tác giả nói rằng ma trận hiệp phương sai mẫu được tính với là số ít. $p$ $n$ $p$ $S$ $p > n$

Làm thế nào là đúng hoặc có nguồn gốc?
Có lời giải thích nào không?

covariance-matrix linear-algebra

— người dùng34790
nguồn

4

Lưu ý rằng điều này là độc lập thực sự với phân phối cơ bản: nó không cần phải là Gaussian.

— amip nói phục hồi Monica

22

Một số sự thật về thứ hạng ma trận, được cung cấp mà không có bằng chứng (nhưng bằng chứng về tất cả hoặc gần như tất cả chúng nên được đưa ra trong các văn bản đại số tuyến tính tiêu chuẩn, hoặc trong một số trường hợp được đặt làm bài tập sau khi cung cấp đủ thông tin để có thể làm như vậy):

Nếu và là hai ma trận phù hợp, thì: $A$ $B$

(i) thứ hạng cột của = thứ hạng hàng của $A$ $A$

(ii) $\text{rank}(A) = \text{rank}(A^T) = \text{rank}(A^TA) = \text{rank}(AA^T)$

(iii) $\text{rank}(AB)\leq \min(\text{rank}(A),\text{rank}(B))$

(iv) $\text{rank}(A+B) \leq \text{rank}(A) + \text{rank}(B)$

(v) nếu là ma trận vuông có thứ hạng đầy đủ, thì $B$ $\text{rank}(AB) = \text{rank}(A)$

Xét ma trận của dữ liệu mẫu, . Từ những điều trên, thứ hạng của nhiều nhất là . $n\times p$ $y$ $y$ $\min(n,p)$

Hơn nữa, từ trên rõ ràng thứ hạng của sẽ không lớn hơn thứ hạng của (bằng cách xem xét tính toán của ở dạng ma trận, có lẽ có một số đơn giản hóa). $S$ $y$ $S$

Nếu thì trong trường hợp đó . $n<p$ $\text{rank}(y)<p$ $\text{rank}(S)<p$

— Glen_b -Reinstate Monica
nguồn

câu trả lời tốt đẹp Nó không hoàn toàn rõ ràng tuy nhiên làm thế nào y và S liên quan đến A và B?

— Matifou

S được tính từ y; ("X" trong bài viết gốc). Bạn có thể sử dụng các sự kiện về y và các thao tác được thực hiện trên nó (thông qua các quy tắc trên) để có được một ràng buộc về thứ hạng của S. Các vai trò của A và B thay đổi từ bước này sang bước khác.

— Glen_b -Reinstate Monica

14

Câu trả lời ngắn cho câu hỏi của bạn là thứ hạng . Vậy nếu , thì là số ít. $(S) \le n - 1$ $p > n$ $S$

Để có câu trả lời chi tiết hơn, hãy nhớ rằng ma trận hiệp phương sai mẫu (không thiên vị) có thể được viết là

S = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{T} .

$S = \frac{1}{n-1}\sum_{i=1}^n (x_i - \bar{x})(x_i - \bar{x})^T.$

$n$ $x_i$ $(S)$ $p > n$ $\bar{x}$ $(S)$ $n - 1$

$S$ $p \gg n$

— ramhiser
nguồn

4

Bạn có thể giải thích rõ hơn về lý do trừ 1 vì chúng tôi tập trung vào từng quan sát $\bar x$

@loganecolss: Xem Tại sao thứ hạng của ma trận hiệp phương sai nhiều nhất

n - 1

$n−1$

Câu trả lời tốt đẹp! Có lẽ chỉ cần thêm một lời giải thích / liên kết cho thực tế câu lệnh chúng ta đang tổng hợp 𝑛 ma trận, mỗi câu có thứ hạng 1 ? Cảm ơn!

— Matifou

10

Khi bạn nhìn nhận tình huống đúng cách, kết luận là trực giác rõ ràng và ngay lập tức.

Bài đăng này cung cấp hai cuộc biểu tình. Đầu tiên, ngay bên dưới, là bằng lời. Nó tương đương với một bản vẽ đơn giản, xuất hiện ở cuối. Ở giữa là một lời giải thích về ý nghĩa của các từ và bản vẽ.

$n$ $p$ $p\times p$ $\mathbb{X}_{np}$ $\mathbb{X}_{pn}^\prime$ $p$ $n$ $\mathbb{R}^n$ $\min(p,n)$ $\min(p,n)$ $p\gt n$ $n$ $p$

Tất cả thuật ngữ này được giải thích đầy đủ trong phần còn lại của bài viết này.

$\mathbb X$ $\mathbb{R}^n$ $\frac{1}{n-1}\mathbb{X}^\prime \mathbb{X}$ $n-1$

Đại số tuyến tính là tất cả về theo dõi kích thước của không gian vectơ. Bạn chỉ cần đánh giá cao một vài khái niệm cơ bản để có trực giác sâu sắc cho những khẳng định về thứ hạng và điểm kỳ dị:

$m\times n$ $\mathbb{M}$ $n$ $V^n$ $m$ $V^m$ $x\in V^n$ $\mathbb{M}x = y \in V^m$
$V^n$ $\mathbb M$ $V^m$ $n$
Kích thước của bất kỳ không gian vectơ phụ nào cũng không thể vượt quá kích thước của không gian mà nó nằm. Đây là một định lý, nhưng một lần nữa nó là hiển nhiên và dễ dàng để chứng minh.
Thứ hạng của một phép biến đổi tuyến tính là thứ nguyên của hình ảnh của nó. Thứ hạng của ma trận là thứ hạng của phép biến đổi tuyến tính mà nó đại diện. Đây là những định nghĩa.
$\mathbb{M}_{mn}$ $n$

$\mathbb{M}_{mn}$ $x_n$

y_{m} = M_{m n} x_{n}

$y_m = \mathbb{M}_{mn} x_n$

$m\times n$ $\mathbb M$ $n$ $x$ $m$ $y$

$y_a$ $a$ $\mathbb{M}_{mn}, \mathbb{L}_{lm}, \ldots, \mathbb{B}_{bc},$ $\mathbb{A}_{ab}$ $n$ $x_n$ $V^n$ $x_n$ $m, l, \ldots, c, b,$ $a$

$V^n$ $\min(a,b,c,\ldots,l,m,n)$

$\mathbb{X}^\prime \mathbb{X}$

— whuber
nguồn