Điều kiện đủ và cần thiết cho giá trị riêng không của ma trận tương quan

11

Cho biến ngẫu nhiên , với phân phối xác suất , ma trận tương quan là bán xác định dương, tức là giá trị riêng của nó là dương hoặc bằng không. $n$ $X_i$ $P(X_1,\ldots,X_n)$ $C_{ij}=E[X_i X_j]-E[X_i]E[X_j]$

Tôi quan tâm đến các điều kiện về đó là cần thiết và / hoặc đủ cho có zero giá trị riêng. Chẳng hạn, một điều kiện đủ là các biến ngẫu nhiên không độc lập: đối với một số số thực . Ví dụ: nếu , thì là một hàm riêng của với giá trị riêng bằng 0. Nếu chúng ta có hạn chế tuyến tính độc lập trên là thuộc loại này, nó sẽ bao hàm zero giá trị riêng. $P$ $C$ $m$ $\sum_i u_i X_i=0$ $u_i$ $P(X_1,\ldots,X_n)=\delta(X_1-X_2)p(X_2,\ldots,X_n)$ $\vec u=(1,-1,0,\ldots,0)$ $C$ $m$ $X_i$ $m$

Có ít nhất một khả năng bổ sung (nhưng tầm thường), khi cho một số (ví dụ ), kể từ đó trường hợp có một cột và một dòng số không: . Vì nó không thực sự thú vị, tôi giả định rằng phân phối xác suất không phải là dạng đó. $X_a=E[X_a]$ $a$ $P(X_1,\ldots,X_n)\propto\delta(X_a-E[X_a])$ $C_{ij}$ $C_{ia}=C_{ai}=0,\,\forall i$

Câu hỏi của tôi là: các ràng buộc tuyến tính là cách duy nhất để tạo ra các giá trị riêng không (nếu chúng ta cấm ngoại lệ tầm thường được đưa ra ở trên), hoặc các ràng buộc phi tuyến tính trên các biến ngẫu nhiên cũng có thể tạo ra các giá trị riêng của không? $C$

correlation

— Ađam
nguồn

1

Theo định nghĩa, một tập hợp các vectơ bao gồm vectơ không phụ thuộc tuyến tính, vì vậy khả năng bổ sung của bạn không có gì mới hoặc khác biệt. Bạn có thể vui lòng giải thích những gì bạn có nghĩa là bởi "có một eigenvalue"? Trông giống như một số lỗi đánh máy.

m

$m$

— whuber

@whuber: vâng, lỗi đánh máy. Đã sửa. Tôi nghĩ hai điều kiện khác nhau: một là về mối quan hệ giữa các biến, trong khi điều kiện còn lại là về xác suất của biến duy nhất (cụ thể là ).

p (X_{a}) = δ (X_{a} - E (X_{a}))

$p(X_a)=\delta(X_a-E(X_a))$

— Adam

Việc xây dựng câu hỏi của bạn là khó hiểu. Nó trông giống như một định lý cơ bản của đại số tuyến tính, nhưng các tham chiếu đến các biến ngẫu nhiên "độc lập" cho thấy nó có thể là về một cái gì đó khác hoàn toàn. Sẽ là chính xác để hiểu rằng mỗi khi bạn sử dụng "độc lập", bạn có nghĩa là theo nghĩa độc lập tuyến tính và không phải theo nghĩa của các biến ngẫu nhiên độc lập (theo thống kê)? Tham chiếu của bạn đến "dữ liệu bị thiếu" thậm chí còn gây nhầm lẫn hơn nữa, bởi vì nó cho thấy "các biến ngẫu nhiên" của bạn thực sự có thể có nghĩa chỉ là các cột của ma trận dữ liệu. Sẽ thật tốt khi thấy những ý nghĩa này được làm rõ.

— whuber

@whuber: Tôi đã chỉnh sửa câu hỏi. Hy vọng nó rõ ràng hơn.

— Adam

Điều kiện để độc lập không nhất thiết phải bằng 0 (bất kỳ hằng số nào cũng được), trừ khi giá trị trung bình của mỗi bằng không.

\sum_{i} u_{i} X_{i} = 0

$\sum_i u_i X_i=0$

X_{i}

$X_i$

— Sextus Empiricus

6

Có lẽ bằng cách đơn giản hóa ký hiệu, chúng ta có thể đưa ra những ý tưởng thiết yếu. Hóa ra chúng ta không cần liên quan đến kỳ vọng hoặc công thức phức tạp, bởi vì mọi thứ hoàn toàn là đại số.

Bản chất đại số của các đối tượng toán học

Câu hỏi liên quan đến mối quan hệ giữa (1) ma trận hiệp phương sai của một tập hợp hữu hạn các biến ngẫu nhiên và (2) mối quan hệ tuyến tính giữa các biến đó, được coi là vectơ . $X_1, \ldots, X_n$

Không gian vectơ trong câu hỏi là tập hợp tất cả các biến ngẫu nhiên phương sai hữu hạn (trên bất kỳ không gian xác suất đã cho nào ) modulo không gian con của các biến gần như chắc chắn, được ký hiệu là (Nghĩa là, chúng tôi coi hai biến ngẫu nhiên và là cùng một vectơ khi không có khả năng khác với kỳ vọng của nó.) Chúng tôi chỉ xử lý vectơ hữu hạn không gian được tạo bởi đó là điều làm cho vấn đề đại số này chứ không phải là vấn đề phân tích. $(\Omega,\mathbb P)$ $\mathcal{L}^2(\Omega,\mathbb P)/\mathbb R.$ $X$ $Y$ $X-Y$ $V$ $X_i,$

Những gì chúng ta cần biết về phương sai

$V$ không chỉ là một không gian vectơ: nó là một mô đun bậc hai, bởi vì nó được trang bị phương sai. Tất cả chúng ta cần biết về phương sai là hai điều:

Phương sai là một hàm có giá trị vô hướng với thuộc tính cho tất cả các vectơ $Q$ $Q(aX)=a^2Q(X)$ $X.$
Phương sai là không suy biến.

Thứ hai cần một số lời giải thích. xác định "sản phẩm chấm", là dạng song tuyến đối xứng được cho bởi $Q$

X \cdot Y = \frac{1}{4} (Q (X + Y) - Q (X - Y)) .

$X\cdot Y = \frac{1}{4}\left(Q(X+Y) - Q(X-Y)\right).$

(Tất nhiên đây không có gì khác ngoài hiệp phương sai của các biến và ) Các vectơ và là trực giao khi tích của chúng là Phần bù trực giao của bất kỳ tập vectơ nào bao gồm tất cả các vectơ trực giao đến mọi yếu tố của được viết $X$ $Y.$ $X$ $Y$ $0.$ $\mathcal A \subset V$ $\mathcal A,$

A^{0} = {v \in V ∣ a . v = 0 for all v \in V} .

$\mathcal{A}^0 = \{v\in V\mid a . v = 0\text{ for all }v \in V\}.$

Nó rõ ràng là một không gian vector. Khi , là không suy biến. $V^0 = \{0\}$ $Q$

Cho phép tôi chứng minh rằng phương sai thực sự là không biến đổi, mặc dù nó có vẻ rõ ràng. Giả sử là một phần tử khác 0 của Điều này có nghĩa là cho tất cảtương đương, $X$ $V^0.$ $X\cdot Y = 0$ $Y\in V;$

Q (X + Y) = Q (X - Y)

$Q(X+Y) = Q(X-Y)$

với mọi vectơ Lấy cho $Y.$ $Y=X$

4 Q (X) = Q (2 X) = Q (X + X) = Q (X - X) = Q (0) = 0

$4 Q(X) = Q(2X) = Q(X+X) = Q(X-X) = Q(0) = 0$

và do đó Tuy nhiên, chúng tôi biết (có thể sử dụng Bất đẳng thức của Ch Quashev, có lẽ) rằng các biến ngẫu nhiên duy nhất có phương sai bằng 0 gần như chắc chắn là hằng số, xác định chúng với vectơ 0 trong QED. $Q(X)=0.$ $V,$

Giải thích các câu hỏi

Quay trở lại các câu hỏi, trong ký hiệu trước, ma trận hiệp phương sai của các biến ngẫu nhiên chỉ là một mảng thông thường của tất cả các sản phẩm dấu chấm của chúng,

T = (X_{i} \cdot X_{j}) .

$T = (X_i\cdot X_j).$

Có một cách hay để suy nghĩ về : nó định nghĩa một phép biến đổi tuyến tính trên theo cách thông thường, bằng cách gửi bất kỳ vectơ vào vectơ có thành phần được đưa ra bởi quy tắc nhân ma trận $T$ $\mathbb{R}^n$ $x=(x_1, \ldots, x_n)\in\mathbb{R}^n$ $T(x)=y=(y_1, \ldots, x_n)$ $i^\text{th}$

y_{i} = \sum_{j = 1}^{n} (X_{i} \cdot X_{j}) x_{j} .

$y_i = \sum_{j=1}^n (X_i\cdot X_j)x_j.$

Các hạt nhân của sự biến đổi tuyến tính này là không gian con nó gửi đến số không:

Ker (T) = {x \in R^{n} ∣ T (x) = 0} .

$\operatorname{Ker}(T) = \{x\in \mathbb{R}^n\mid T(x)=0\}.$

Phương trình đã nói ở trên ngụ ý rằng khi với mọi $x\in \operatorname{Ker}(T),$ $i$

0 = y_{i} = \sum_{j = 1}^{n} (X_{i} \cdot X_{j}) x_{j} = X_{i} \cdot (\sum_{j} x_{j} X_{j}) .

$0 = y_i = \sum_{j=1}^n (X_i\cdot X_j)x_j = X_i \cdot \left(\sum_j x_j X_j\right).$

Vì điều này đúng với mọi nên nó giữ cho tất cả các vectơ được kéo dài bởi : cụ thể là, chínhDo đó, khi vectơ được cung cấp bởi nằm trong Bởi vì phương sai là không biến đổi, điều này có nghĩa là Nghĩa là, mô tả một phụ thuộc tuyến tính giữa biến ngẫu nhiên ban đầu. $i,$ $X_i$ $V$ $x\in\operatorname{Ker}(T),$ $\sum_j x_j X_j$ $V^0.$ $\sum_j x_j X_j = 0.$ $x$ $n$

Bạn có thể dễ dàng kiểm tra xem chuỗi lý luận này có thể đảo ngược không:

Các phụ thuộc tuyến tính giữa các như các vectơ tương ứng một-một với các phần tử của hạt nhân $X_j$ $T.$

(Hãy nhớ rằng, tuyên bố này vẫn coi như được xác định cho đến một sự thay đổi liên tục về vị trí - nghĩa là, như là các yếu tố của thu thập chỉ là các biến ngẫu nhiên.) $X_j$ $\mathcal{L}^2(\Omega,\mathbb P)/\mathbb R$

Cuối cùng, theo định nghĩa, một giá trị riêng của là bất kỳ vô hướng nào tồn tại một vectơ khác 0 với Khi là một giá trị riêng, không gian của các hàm riêng liên quan là (rõ ràng) là hạt nhân của $T$ $\lambda$ $x$ $T(x) = \lambda x.$ $\lambda=0$ $T.$

Tóm lược

Chúng tôi đã đi đến câu trả lời cho các câu hỏi: tập hợp các phụ thuộc tuyến tính của các biến ngẫu nhiên, qua các phần tử của tương ứng với một hạt nhân của ma trận hiệp phương sai của họ Điều này là như vậy bởi vì phương sai là một dạng bậc hai không suy biến. Hạt nhân cũng là không gian eigenspace được liên kết với giá trị riêng 0 (hoặc chỉ không gian con bằng 0 khi không có giá trị riêng 0). $\mathcal{L}^2(\Omega,\mathbb P)/\mathbb R,$ $T.$

Tài liệu tham khảo

Tôi đã chấp nhận phần lớn ký hiệu và một số ngôn ngữ của Chương IV trong

Jean-Pierre Serre, Một khóa học về số học. Springer-Verlag năm 1973.

— whuber
nguồn

Whoa, thật tuyệt! Chỉ cần một câu hỏi để chắc chắn rằng tôi hiểu tất cả mọi thứ: khi bạn viết " dưới dạng vectơ", bạn không có nghĩa là thu thập các biến ngẫu nhiên trong một vectơ (tức là ) hay bạn? Nếu tôi đúng, tôi đoán rằng bạn đang thu thập các giá trị có thể của biến ngẫu nhiên vào một vectơ, trong khi phân phối xác suất được ẩn trong định nghĩa của phương sai, phải không?

X_{j}

$X_j$

\vec{X} = (X_{1}, \dots, X_{n})

$\vec X=(X_1,\ldots,X_n)$

X_{i}

$X_i$

— Adam

Tôi nghĩ rằng khía cạnh chính không hoàn toàn rõ ràng là như sau (có thể chỉ cho thấy sự thiếu hiểu biết chính thức của tôi về lý thuyết xác suất): bạn dường như cho thấy rằng nếu có 0 eigenvalue, thì chúng ta có ví dụ . Ràng buộc này không đề cập đến phân phối xác suất , được ẩn trong (Tôi nghĩ đây là điểm thông minh về trình diễn này). Nhưng điều đó có nghĩa gì khi có mà không tham chiếu đến ? Hoặc nó chỉ ngụ ý rằng , nhưng làm thế nào để chúng ta biết rằng nó phải là sự kết hợp tuyến tính của và trong hàm delta ?

X_{1} = X_{2}

$X_1=X_2$

P

$P$

Q

$Q$

X_{1} = X_{2}

$X_1=X_2$

P

$P$

P \propto δ (X_{1} - X_{2})

$P\propto \delta(X_1-X_2)$ $X_1$ $X_2$

— Adam

Tôi e rằng tôi không hiểu việc bạn sử dụng "hàm delta" trong ngữ cảnh này, Adam. Đó là một phần vì tôi thấy không cần nó và một phần vì ký hiệu không rõ ràng: đó sẽ là đồng bằng Kronecker hay đồng bằng Dirac chẳng hạn?

— whuber

Nó sẽ là Kronecker hoặc Dirac tùy thuộc vào các biến (rời rạc hoặc liên tục). Những của đồng bằng có thể là một phần của biện pháp tích hợp, ví dụ như tôi tích hợp trên 2-by-2 ma trận (vì vậy bốn biến thực , , và , với một số trọng lượng (nói ) hoặc tôi tích hợp trên một nhóm phụ. Nếu đó là ma trận đối xứng (ngụ ý ví dụ ), tôi có thể chính thức áp đặt điều đó bằng cách nhân với . Đây sẽ là một ràng buộc tuyến tính Một ví dụ về ràng buộc phi tuyến tính được đưa ra trong các bình luận bên dưới câu trả lời của Martijn Weterings.

M

$M$

X_{1}

$X_1$

X_{2}

$X_2$

X_{3}

$X_3$

X_{4}

$X_4$

P = \exp (- t r (M . M^{T}))

$P=\exp(-tr(M.M^T))$

X_{2} = X_{3}

$X_2=X_3$

P

$P$

δ (X_{1} - X_{2})

$\delta(X_1-X_2)$

— Adam

(tiếp theo) Câu hỏi là: những gì có thể của các ràng buộc phi tuyến tính mà tôi có thể thêm vào các biến của mình có thể tạo ra một giá trị 0. Theo câu trả lời của bạn, dường như: chỉ có ràng buộc phi tuyến tính ngụ ý ràng buộc tuyến tính (như được minh họa trong các bình luận bên dưới câu trả lời của Martijn Weterings). Có lẽ vấn đề là cách suy nghĩ của tôi về vấn đề là từ quan điểm của nhà vật lý, và tôi đấu tranh để giải thích nó bằng một ngôn ngữ khác (tôi nghĩ đây là nơi thích hợp để đặt câu hỏi này, không có vật lý.SE).

— Adam

5

Độc lập tuyến tính không chỉ là đủ mà còn là một điều kiện cần thiết

Để chỉ ra rằng ma trận phương sai hiệp phương sai có các giá trị riêng bằng 0 khi và chỉ khi các biến không độc lập tuyến tính, thì vẫn chỉ cho thấy rằng "nếu ma trận có giá trị riêng bằng 0 thì các biến không độc lập tuyến tính".

Nếu bạn có giá trị riêng bằng 0 cho thì có một số kết hợp tuyến tính (được xác định bởi eigenvector ) $C_{ij} = \text{Cov}(X_i,X_j)$ $v$

Y = \sum_{i = 1}^{n} v_{i} (X_{i})

$Y = \sum_{i=1}^n v_i (X_i)$

như vậy mà

\begin{array}{rcl} Cov (Y, Y) & = & \sum_{i = 1}^{n} \sum_{j = 1}^{n} v_{i} v_{j} Cov (X_{i}, X_{j}) \\ = & \sum_{i = 1}^{n} v_{i} \sum_{j = 1}^{n} v_{j} C_{i j} \\ = & \sum_{i = 1}^{n} v_{i} \cdot 0 \\ = & 0 \end{array}

$\begin{array}{rcl} \text{Cov}(Y,Y) &=& \sum_{i=1}^n \sum_{j=1}^n v_i v_j \text{Cov}(X_i,X_j) \\ &=&\sum_{i=1}^n v_i\sum_{j=1}^n v_j C_{ij} \\ &= &\sum_{i=1}^n v_i \cdot 0 \\ &=& 0 \end{array}$

điều đó có nghĩa là cần phải là một hằng số và do đó các biến phải thêm vào một hằng số và là chính các hằng số (trường hợp tầm thường) hoặc không độc lập tuyến tính. $Y$ $X_i$

^{- dòng đầu tiên trong phương trình với là do thuộc tính của hiệp phương sai $\text{Cov}(Y,Y)$}

Cov (a U + b V, c W + d X) = a c Cov (U, W) + b c Cov (V, W) + a d Cov (U, X) + b d Cov (V, X)

$\scriptsize\text{Cov}(aU+bV,cW+dX) = ac\,\text{Cov}(U,W) + bc\,\text{Cov}(V,W) +ad\, \text{Cov}(U,X) + bd \,\text{Cov}(V,X)$

^{- bước từ dòng thứ hai đến dòng thứ ba là do thuộc tính của giá trị 0 eigenvalue}

\sum_{j = 1}^{n} v_{j} C_{i j} = 0

$\scriptsize \sum_{j=1}^nv_jC_{ij} = 0$

Các ràng buộc phi tuyến tính

Vì vậy, vì các ràng buộc tuyến tính là một điều kiện cần thiết (không chỉ đủ), các ràng buộc phi tuyến tính sẽ chỉ có liên quan khi chúng gián tiếp ngụ ý một ràng buộc tuyến tính (cần thiết).

Trong thực tế, có một sự tương ứng trực tiếp giữa các hàm riêng liên quan đến giá trị riêng không và các ràng buộc tuyến tính.

C \cdot v = 0 ⟺ Y = \sum_{i = 1}^{n} v_{i} X_{i} = const

$C \cdot v = 0 \iff Y = \sum_{i=1}^n v_i X_i = \text{const}$

Do đó, các ràng buộc phi tuyến tính dẫn đến một giá trị riêng không bằng 0, phải kết hợp với nhau, tạo ra một số ràng buộc tuyến tính.

Làm thế nào các ràng buộc phi tuyến tính có thể dẫn đến các ràng buộc tuyến tính

Ví dụ của bạn trong các ý kiến có thể chỉ ra điều này bằng trực giác làm thế nào các ràng buộc phi tuyến tính có thể dẫn đến các ràng buộc tuyến tính bằng cách đảo ngược đạo hàm. Các ràng buộc phi tuyến tính sau đây

\begin{array}{lcr} a^{2} + b^{2} & = & 1 \\ c^{2} + d^{2} & = & 1 \\ a c + b d & = & 0 \\ a d - b c & = & 1 \end{array}

$\begin{array}{lcr} a^2+b^2&=&1\\ c^2+d^2&=&1\\ ac + bd &=& 0 \\ ad - bc &=& 1 \end{array}$

có thể được giảm xuống

\begin{array}{lcr} a^{2} + b^{2} & = & 1 \\ c^{2} + d^{2} & = & 1 \\ a - d & = & 0 \\ b + c & = & 0 \end{array}

$\begin{array}{lcr} a^2+b^2&=&1\\ c^2+d^2&=&1\\ a-d&=&0 \\ b+c &=& 0 \end{array}$

Bạn có thể nghịch đảo này. Giả sử bạn có các ràng buộc phi tuyến tính cộng với tuyến tính, thì không có gì lạ khi tưởng tượng làm thế nào chúng ta có thể thay thế một trong các ràng buộc tuyến tính bằng một ràng buộc phi tuyến tính, bằng cách điền các ràng buộc tuyến tính vào các ràng buộc phi tuyến tính. Ví dụ: khi chúng ta thay thế và ở dạng phi tuyến tính thì bạn có thể tạo một mối quan hệ khác . Và khi bạn nhân và thì bạn nhận được . $a=d$ $b=-c$ $a^2+b^2=1$ $ad-bc=1$ $a=d$ $c=-b$ $ac=-bd$

— Sextus Empiricus
nguồn

Tôi đoán điều này (và câu trả lời của whuber) là một câu trả lời gián tiếp cho câu hỏi của tôi (đó là: "là sự phụ thuộc tuyến tính là cách duy nhất để có được giá trị riêng 0" theo cách này: ngay cả khi sự phụ thuộc giữa các biến ngẫu nhiên là không tuyến tính, nó luôn có thể được viết lại dưới dạng phụ thuộc tuyến tính bằng cách chỉ viết . Mặc dù tôi đã thực sự tìm cách để mô tả các ràng buộc phi tuyến tính có thể có, nhưng tôi đoán nó vẫn là một kết quả hữu ích.

Y = \sum_{i} ν_{i} X_{i}

$Y=\sum_i \nu_i X_i$

— Adam

Vâng, tôi biết ... điều tôi đang nói là nếu có sự phụ thuộc phi tuyến tính và không có giá trị riêng, thì theo câu trả lời của bạn, điều đó có nghĩa là sự phụ thuộc phi tuyến tính theo một cách nào đó thành một sự phụ thuộc tuyến tính. Nó là phiên bản yếu hơn của những gì tôi đang tìm kiếm, nhưng vẫn còn một cái gì đó.

— Adam

Việc bạn đưa ra một ví dụ không hoạt động, điều đó không có nghĩa là không thể như vậy ...

— Adam

Dưới đây là một ví dụ ngược lại về những gì bạn nói (nếu bạn nghĩ không phải vậy, thì nó có thể giúp chúng tôi tìm ra vấn đề sai với công thức của tôi về vấn đề này :)): Lấy ma trận ngẫu nhiên 2 nhân 2 , với ràng buộc phi tuyến tính và . 3 ràng buộc phi tuyến tính này có thể được viết lại theo 2 ràng buộc tuyến tính và một ràng buộc tuyến tính: có nghĩa là ma trận hiệp phương sai có hai 0 hàm riêng. Xóa ràng buộc và chúng biến mất.

M

$M$

M . M^{T} = 1

$M.M^T=1$

det M = 1

$\det M=1$

det M = 1

$\det M=1$

— Adam

M_{11} = X_{1}

$M_{11}=X_1$ , , và . Các ràng buộc là , , (chỉ có hai là độc lập). Họ không ngụ ý một giá trị riêng không. Tuy nhiên, việc thêm có nghĩa là hai hàm riêng có 0 giá trị riêng.

M_{12} = X_{2}

$M_{12}=X_2$

M_{21} = X_{3}

$M_{21}=X_3$

M_{22} = X_{4}

$M_{22}=X_4$

X_{1}^{2} + X_{2}^{2} = 1

$X_1^2+X_2^2=1$

X_{3}^{2} + X_{4}^{2} = 1

$X_3^2+X_4^2=1$

X_{1} X_{3} + X_{2} X_{4} = 0

$X_1 X_3+X_2 X_4=0$

X_{1} X_{4} - X_{2} X_{3} = 1

$X_1 X_4-X_2 X_3=1$

— Adam

2

Giả sử có một hàm riêng với giá trị riêng tương ứng , thì . Do đó, bởi sự bất bình đẳng của Ch Quashev, gần như chắc chắn không đổi và bằng với . Nghĩa là, mọi giá trị riêng không tương ứng với một giới hạn tuyến tính, cụ thể là . Không cần phải xem xét bất kỳ trường hợp đặc biệt. $C$ $v$ $0$ $\operatorname{var}(v^T X) = v^T Cv = 0$ $v^TX$ $v^T E [X]$ $v^T X = v^T E[X]$

Vì vậy, chúng tôi kết luận:

"là các ràng buộc tuyến tính, cách duy nhất để tạo ra giá trị riêng không [?]"

Đúng.

"các ràng buộc phi tuyến tính trên các biến ngẫu nhiên cũng có thể tạo ra giá trị riêng của C không?"

Có, nếu chúng ngụ ý các ràng buộc tuyến tính.

— ekvall
nguồn

Tôi đồng ý. Tôi đã hy vọng rằng người ta có thể cụ thể hơn về loại ràng buộc phi tuyến tính, nhưng tôi đoán rằng thật khó để làm tốt hơn nếu chúng ta không chỉ định các ràng buộc.

— Adam

2

Hiệp phương sai của là đối xứng nên bạn có thể chẩn đoán nó là , với các giá trị riêng trong ma trận đường chéoViết lại điều này dưới dạng , rhs là ma trận hiệp phương sai của , do đó, giá trị riêng trên các lhs tương ứng với các tổ hợp tuyến tính của với các phân phối suy biến. $C$ $X$ $C=Q\Lambda Q^T$ $\Lambda.$ $\Lambda=Q^TCQ$ $Q^TX$ $X$

— Hasse1987
nguồn

Đây là một mô tả ngắn gọn rất hay, nhưng làm thế nào chúng ta có thể làm cho nó trực quan hơn rằng ?

Q^{T} C Q = cov (Q^{T} X)

$Q^TCQ = \text{cov}(Q^TX)$

— Sextus Empiricus