Biện pháp phù hợp để tìm ma trận hiệp phương sai nhỏ nhất

Trong sách giáo khoa tôi đang đọc họ sử dụng tính xác định dương (xác định bán tích cực) để so sánh hai ma trận hiệp phương sai. Ý tưởng được rằng nếu là PD sau đó là nhỏ hơn . Nhưng tôi đang đấu tranh để có được trực giác của mối quan hệ này?$A-B$$B$$A$

Có một chủ đề tương tự ở đây:

/math/239166/what-is-the-intuition-for-USE-definitiness-to-compare-matrices

Trực giác cho việc sử dụng dứt khoát để so sánh ma trận là gì?

Mặc dù câu trả lời rất hay nhưng họ không thực sự đề cập đến trực giác.

Đây là một ví dụ tôi thấy khó hiểu:

$$\begin{equation} \begin{bmatrix} 16 & 12 \\ 12 & 9 \end{bmatrix} - \begin{bmatrix} 1 & 2 \\ 2 & 4 \end{bmatrix} \end{equation}$$

Bây giờ ở đây xác định của sự khác biệt là -25 vì vậy mối quan hệ không phải là pd hoặc thậm chí psd và vì vậy ma trận đầu tiên không lớn hơn đầu tiên?

Tôi chỉ đơn giản muốn so sánh hai ma trận hiệp phương sai 3 * 3 để xem cái nào nhỏ nhất? Nó có vẻ trực quan hơn đối với tôi để sử dụng một cái gì đó giống như tiêu chuẩn euclide để so sánh chúng? Tuy nhiên, điều này có nghĩa là ma trận đầu tiên ở trên lớn hơn ma trận thứ hai. Hơn nữa, tôi chỉ thấy tiêu chí pd / psd được sử dụng để so sánh ma trận hiệp phương sai.

Ai đó có thể giải thích tại sao pd / psd tốt hơn so với việc sử dụng một biện pháp khác như định mức euclide?

Tôi cũng đã đăng câu hỏi này lên diễn đàn toán học (không chắc điều gì là tốt nhất) hy vọng điều này không trái với bất kỳ quy tắc nào.

/math/628135/compared-two-covariance-matrices

Thứ tự các ma trận mà bạn đề cập được gọi là thứ tự Loewner và là một thứ tự một phần được sử dụng nhiều trong nghiên cứu các ma trận xác định dương. Một điều trị độ dài cuốn sách của hình học trên đa tạp của ma trận dương-xác định (posdef) là ở đây .

Trước tiên tôi sẽ cố gắng giải quyết câu hỏi của bạn về trực giác . Ma trận (đối xứng) là posdef nếu cho tất cả . Nếu là biến ngẫu nhiên (rv) với ma trận hiệp phương sai , thì là (tỷ lệ với) phép chiếu của nó trên một không gian con một chiều và . Áp dụng điều này cho trong Q của bạn, thứ nhất: đó là ma trận hiệp phương sai, thứ hai: Một biến ngẫu nhiên với ma trận covar dự án theo mọi hướng có phương sai nhỏ hơn rv với ma trận hiệp phương sai$A$$c^T A c\ge 0$$c \in \mathbb{R}^n$$X$$A$$c^T X$$\mathbb{Var}(c^T X) = c^T A c$$A-B$$B$$A$. Điều này làm cho trực giác rõ ràng rằng thứ tự này chỉ có thể là một phần, có nhiều rv sẽ chiếu theo các hướng khác nhau với các phương sai khác nhau cực kỳ. Đề xuất của bạn về một số chỉ tiêu Euclide không có cách giải thích thống kê tự nhiên như vậy.

"Ví dụ khó hiểu" của bạn là khó hiểu vì cả hai ma trận đều có số không xác định. Vì vậy, đối với mỗi người, có một hướng (eigenvector với eigenvalue zero) trong đó họ luôn chiếu về 0 . Nhưng hướng này là khác nhau cho hai ma trận, do đó chúng không thể được so sánh.

Thứ tự Loewner được định nghĩa sao cho , có giá trị xác định dương hơn , nếu là posdef. Đây là một thứ tự từng phần, đối với một số ma trận posdef, cả và đều không phải là posdef. Một ví dụ là: Một cách hiển thị đồ họa này là vẽ một đồ thị có hai hình elip, nhưng tập trung ở điểm gốc, được liên kết theo cách chuẩn với ma trận (khi đó khoảng cách xuyên tâm theo mỗi hướng tỷ lệ thuận với phương sai của chiếu theo hướng đó):$A \preceq B$$B$$A$$B-A$$B-A$$A-B$

$$A=\begin{pmatrix} 1 & 0.5 \\ 0.5 & 1 \end{pmatrix}, \quad B= \begin{pmatrix} 0.5 & 0\\ 0 & 1.5 \end{pmatrix}$$

Trong những trường hợp này, hai hình elip đồng dạng, nhưng xoay khác nhau (thực tế là góc 45 độ). Điều này tương ứng với thực tế là các ma trận và có cùng giá trị riêng, nhưng các hàm riêng được quay.$A$$B$

Vì câu trả lời này phụ thuộc nhiều vào các thuộc tính của dấu chấm lửng, nên sau đây Trực giác đằng sau các phân phối Gaussian có điều kiện là gì? giải thích các hình elip về mặt hình học, có thể hữu ích.

Bây giờ tôi sẽ giải thích làm thế nào các hình elip liên quan đến ma trận được xác định. Ma trận posdef xác định dạng bậc hai . Điều này có thể được vẽ như là một hàm, đồ thị sẽ là một bậc hai. Nếu thì đồ thị của sẽ luôn ở trên đồ thị của . Nếu chúng ta cắt các biểu đồ với mặt phẳng nằm ngang ở độ cao 1, thì các vết cắt sẽ mô tả các hình elip (thực tế đó là một cách xác định các hình elip). Hình elip cắt này được cho bởi các phương trình và chúng ta thấy rằng$A$$Q_A(c) = c^T A c$$A \preceq B$$Q_B$$Q_A$

$$Q_A(c)=1, \quad Q_B(c)=1$$ $A \preceq B$tương ứng với hình elip của B (bây giờ có phần bên trong) được chứa trong hình elip của A. Nếu không có thứ tự, sẽ không có ngăn chặn. Chúng tôi quan sát rằng thứ tự bao gồm ngược với thứ tự một phần Loewner, nếu chúng tôi không thích rằng chúng tôi có thể vẽ các hình elip của các nghịch đảo. Điều này là do tương đương với . Nhưng tôi sẽ ở lại với các dấu chấm lửng như được định nghĩa ở đây.$A \preceq B$$B^{-1} \preceq A^{-1}$

Một hình elip có thể được mô tả với dấu chấm phẩy và chiều dài của chúng. Chúng ta sẽ chỉ thảo luận về ma trận ở đây, vì chúng là những thứ chúng ta có thể vẽ ... Vì vậy, chúng ta cần hai trục chính và chiều dài của chúng. Điều này có thể được tìm thấy, như được giải thích ở đây với một sự xuất hiện của ma trận posdef. Sau đó, các trục chính được đưa ra bởi các hàm riêng và độ dài có thể được tính từ các giá trị riêng bởi Chúng ta cũng có thể thấy rằng diện tích của hình elip đại diện cho là .$2\times 2$một , b λ 1 , λ 2 một = √$a,b$$\lambda_1, \lambda_2$

$$a = \sqrt{1/\lambda_1}, \quad b=\sqrt{1/\lambda_2}.$$ $A$$\pi a b= \pi \sqrt{1/\lambda_1}\sqrt{1/\lambda_2} = \frac{\pi}{\sqrt{\det A}}$

Tôi sẽ đưa ra một ví dụ cuối cùng trong đó các ma trận có thể được đặt hàng:

Hai ma trận trong trường hợp này là:

$$A =\begin{pmatrix}2/3 & 1/5 \\ 1/5 & 3/4\end{pmatrix}, \quad B=\begin{pmatrix} 1& 1/7 \\ 1/7& 1 \end{pmatrix}$$

@kjetil b halvorsen đưa ra một cuộc thảo luận tốt đẹp về trực giác hình học đằng sau tính bán chính xác tích cực như một thứ tự từng phần. Tôi sẽ đưa ra một cách dễ thương hơn với cùng một trực giác. Một trong số đó xuất phát từ loại tính toán nào bạn có thể muốn thực hiện với ma trận phương sai của mình.

Giả sử bạn có hai biến ngẫu nhiên và . Nếu chúng là vô hướng, thì chúng ta có thể tính toán phương sai của chúng là vô hướng và so sánh chúng theo cách rõ ràng bằng cách sử dụng các số thực vô hướng và . Vì vậy, nếu và , chúng ta nói rằng biến ngẫu nhiên có phương sai nhỏ hơn .$x$$y$$V(x)$$V(y)$$V(x)=5$$V(y)=15$$x$$y$

Mặt khác, nếu và là các biến ngẫu nhiên có giá trị véc tơ (giả sử chúng là hai vectơ), thì cách chúng ta so sánh phương sai của chúng không quá rõ ràng. Giả sử phương sai của chúng là: Làm thế nào để chúng ta so sánh phương sai của hai vectơ ngẫu nhiên này? Một điều chúng ta có thể làm chỉ là so sánh phương sai của các yếu tố tương ứng. Vì vậy, chúng ta có thể nói rằng phương sai của nhỏ hơn phương sai của bằng cách chỉ so sánh các số thực, như: và$x$$y$

$$\begin{align} V(x) = \left[ \begin{array}{c c} 1 & 0.5 \\ 0.5 & 1 \end{array} \right] \qquad V(y) = \left[ \begin{array}{c c} 8 & 3 \\ 3 & 6 \end{array} \right] \end{align}$$ $x_1$$y_1$$V(x_1)=1<8=V(y_1)$$V(x_2)=1<6=V(y_2)$. Vì vậy, có lẽ chúng ta có thể nói rằng phương sai của là phương sai của nếu phương sai của mỗi phần tử của là phương sai của phần tử tương ứng của . Điều này sẽ giống như nói nếu mỗi phần tử đường chéo của là phần tử đường chéo tương ứng của .$x$$\le$$y$$x$$\le$$y$$V(x) \le V(y)$$V(x)$$\le$$V(y)$

Định nghĩa này có vẻ hợp lý lúc đầu đỏ mặt. Hơn nữa, miễn là các ma trận phương sai mà chúng ta đang xem xét là đường chéo (tức là tất cả các hiệp phương sai là 0), nó cũng giống như sử dụng bán chính xác. Đó là, nếu các phương sai trông giống như sau đó nói là dương-bán xác định (nghĩa là ) giống như nói và . Tất cả có vẻ tốt cho đến khi chúng tôi giới thiệu hiệp phương sai. Xem xét ví dụ này:

$$\begin{align} V(x) = \left[ \begin{array}{c c} V(x_1) & 0 \\ 0 & V(x_2) \end{array} \right] \qquad V(y) = \left[ \begin{array}{c c} V(y_1) & 0 \\ 0 & V(y_2) \end{array} \right] \end{align}$$ $V(y)-V(x)$$V(x) \le V(y)$$V(x_1) \le V(y_1)$$V(x_2) \le V(y_2)$ $$\begin{align} V(x) = \left[ \begin{array}{c c} 1 & 0.1 \\ 0.1 & 1 \end{array} \right] \qquad V(y) = \left[ \begin{array}{c c} 1 & 0 \\ 0 & 1 \end{array} \right] \end{align}$$ Bây giờ, sử dụng phép so sánh chỉ xem xét các đường chéo, chúng ta sẽ nói và, thực sự, vẫn đúng là từng phần tử . Điều có thể bắt đầu làm phiền chúng tôi về điều này là nếu chúng tôi tính tổng các phần tử có trọng số của các vectơ, như và , thì chúng tôi gặp phải sự thật là mặc dù chúng tôi đang nói .$V(x) \le V(y)$$V(x_k) \le V(y_k)$$3x_1 + 2x_2$$3y_1 + 2y_2$$V(3x_1 + 2x_2) \gt V(3y_1 + 2y_2)$$V(x) \le V(y)$

Điều này thật kỳ lạ đúng không? Khi và là vô hướng, thì đảm bảo rằng với mọi , cố định, không ngẫu nhiên .$x$$y$$V(x) \le V(y)$$a$$V(ax) \le V(ay)$

Nếu vì lý do nào đó, chúng tôi quan tâm đến sự kết hợp tuyến tính của các yếu tố của các biến ngẫu nhiên như thế này, thì chúng tôi có thể muốn củng cố định nghĩa của chúng tôi về cho các ma trận phương sai. Có lẽ chúng ta muốn nói khi và chỉ khi nó là sự thật rằng , không có vấn đề gì cố định số và chúng tôi chọn. Lưu ý, đây là định nghĩa mạnh hơn định nghĩa chỉ có đường chéo vì nếu chúng ta chọn thì nó nói và nếu chúng ta chọn thì nó nói .$\le$$V(x) \le V(y)$$V(a_1x_1 + a_2x_2) \le V(a_1y_1 + a_2y_2)$$a_1$$a_2$$a_1=1,a_2=0$$V(x_1) \le V(y_1)$$a_1=0,a_2=1$$V(x_2) \le V(y_2)$

Định nghĩa thứ hai này, định nghĩa khi và chỉ khi cho mọi vectơ cố định có thể , là phương pháp thông thường để so sánh phương sai ma trận dựa trên bán chính xác dương: Nhìn vào biểu thức cuối cùng và định nghĩa bán xác định dương để thấy rằng định nghĩa của cho ma trận phương sai được chọn chính xác để đảm bảo rằng khi và chỉ khi cho bất kỳ lựa chọn nào của , tức là khi là bán tích cực -xác định.$V(x) \le V(y)$$V(a'x) \le V(a'y)$$a$

$$\begin{align} V(a'y) - V(a'x) = a'V(x)a - a'V(y)a = a'\left(V(x) - V(y) \right)a \end{align}$$ $\le$$V(x) \le V(y)$$V(a'x) \le V(a'y)$$a$$\left( V(y)-V(x) \right)$

Vì vậy, câu trả lời cho câu hỏi của bạn là mọi người nói rằng ma trận phương sai nhỏ hơn ma trận phương sai nếu là bán xác định dương vì họ quan tâm đến việc so sánh phương sai của các tổ hợp tuyến tính của các vectơ ngẫu nhiên cơ bản. Định nghĩa nào bạn chọn tuân theo những gì bạn quan tâm khi tính toán và cách định nghĩa đó giúp bạn với những tính toán đó.$V$$W$$W-V$