Tại sao thứ hạng của ma trận hiệp phương sai nhiều nhất là ?

Như đã nêu trong câu hỏi này , thứ hạng tối đa của ma trận hiệp phương sai là trong đó là cỡ mẫu và do đó, nếu kích thước của ma trận hiệp phương sai bằng với kích thước mẫu, nó sẽ là số ít. Tôi không thể hiểu tại sao chúng tôi trừ từ thứ hạng tối đa của ma trận hiệp phương sai. $n-1$ $n$ $1$ $n$

covariance-matrix linear-algebra

— người dùng3070752
nguồn

Để có được trực giác, hãy nghĩ về điểm trong 3D. Chiều của không gian con mà các điểm này nằm ở đâu? Bạn có thể đặt chúng trên một dòng (không gian con 1D) không? Hay bạn cần một mặt phẳng (không gian con 2D)?

n = 2

$n=2$

— amip nói phục hồi Monica

Vậy bạn có hiểu rằng dẫn đến ma trận hiệp phương sai bậc 1 không? Được rồi, hãy lấy điểm. Bạn có thể thấy rằng bạn luôn có thể đặt chúng trên mặt phẳng 2D không?

n = 2

$n=2$

n = 3

$n=3$

— amip nói rằng Phục hồi Monica

@amoeba ví dụ của bạn rất rõ ràng nhưng tôi không thể hiểu mối quan hệ giữa siêu phẳng phù hợp trong ví dụ của bạn và ma trận hiệp phương sai là gì?

— dùng3070752

Xin lỗi vì sự chậm trễ;)

— user3070752

Công cụ ước lượng không thiên vị của ma trận hiệp phương sai mẫu cho $n$ điểm dữ liệu $\newcommand{\x}{\mathbf x}\x_i \in \mathbb R^d$ là nơilà mức trung bình trên tất cả các điểm. Chúng ta hãy biểu thịnhư. các

C = = \frac{1}{n - 1} Σ_{Tôi = = 1}^{n} (x_{Tôi} - \bar{x}) (x_{Tôi} - \bar{x})^{⊤},

$\mathbf C = \frac{1}{n-1}\sum_{i=1}^n (\x_i - \bar \x)(\x_i - \bar \x)^\top,$

\bar{x} = \sum x_{i} / n

$\bar \x = \sum \x_i /n$

(x_{i} - \bar{x})

$(\x_i-\bar \x)$

z_{i}

$\newcommand{\z}{\mathbf z}\z_i$

yếu tố không thay đổi thứ hạng và mỗi thuật ngữ trong tổng có (theo định nghĩa) thứ hạng

, vì vậy cốt lõi của câu hỏi như sau:

\frac{1}{n - 1}

$\frac{1}{n-1}$

1

$1$

Tại sao có cấp bậc và không cấp bậc , vì nó có vẻ như vì chúng ta đang tổng hợp rank- ma trận? $\sum \z_i\z_i^\top$ $n-1$ $n$ $n$ $1$

Câu trả lời là nó xảy ra vì không độc lập. Bằng cách xây dựng, . Vì vậy, nếu bạn biết của , thì cuối cùng còn lại hoàn toàn được xác định; chúng ta không tổng hợp độc lập rank- ma trận, chúng tôi đang tổng hợp chỉ rank- độc lập ma trận và sau đó thêm một rank- hơn ma trận là hoàn toàn tuyến tính xác định bởi phần còn lại. Sự bổ sung cuối cùng này không thay đổi thứ hạng tổng thể. $\z_i$ $\sum\z_i = 0$ $n-1$ $\z_i$ $\z_n$ $n$ $1$ $n-1$ $1$ $1$

Chúng ta có thể thấy điều này trực tiếp nếu chúng ta viết lại như và bây giờ cắm nó vào biểu thức trên: $\sum\z_i = 0$

z_{n} = = - Σ_{Tôi = = 1}^{n - 1} z_{Tôi},

$\z_n = -\sum_{i=1}^{n-1}\z_i,$

Bây giờ chỉ còn trong tổng và điều này trở nên rõ ràng rằng toàn bộ số tiền có thể có nhiều nhất là .

Σ_{Tôi = = 1}^{n} z_{Tôi} z_{Tôi}^{⊤} = = Σ_{Tôi = = 1}^{n - 1} z_{Tôi} z_{Tôi}^{⊤} + (- Σ_{Tôi = = 1}^{n - 1} z_{Tôi}) z_{n}^{⊤} = = Σ_{Tôi = = 1}^{n - 1} z_{Tôi} (z_{Tôi} - z_{n})^{⊤} .

$\sum_{i=1}^n \z_i\z_i^\top = \sum_{i=1}^{n-1} \z_i\z_i^\top + \Big(-\sum_{i=1}^{n-1}\z_i\Big)\z_n^\top=\sum_{i=1}^{n-1} \z_i(\z_i-\z_n)^\top.$ $n-1$ $n-1$

Kết quả này, bằng cách này, gợi ý tại sao yếu tố trong công cụ ước lượng không thiên vị của hiệp phương sai là chứ không phải $\frac{1}{n-1}$ . $\frac{1}{n}$

$n-1$ $\bar \x$

— amip nói phục hồi Monica
nguồn