Có một cách giải thích trực quan về

Đối với ma trận dữ liệu đã cho (với các biến trong cột và điểm dữ liệu theo hàng), có vẻ như đóng vai trò quan trọng trong thống kê. Ví dụ, nó là một phần quan trọng của giải pháp phân tích bình phương tối thiểu thông thường. Hoặc, đối với PCA, các hàm riêng của nó là các thành phần chính của dữ liệu.A T$A$$A^TA$

Tôi hiểu làm thế nào để tính toán , nhưng tôi đã tự hỏi nếu có một sự giải thích trực quan về những gì ma trận này đại diện, dẫn đến vai trò quan trọng của nó?$A^TA$

Hình học, ma trận được gọi là ma trận của các sản phẩm vô hướng (= sản phẩm dot, = sản phẩm bên trong). Theo đại số, nó được gọi là ma trận tổng bình phương và sản phẩm chéo ( SSCP ).$\bf A'A$

Nó yếu tố chéo -TH bằng Σ một 2 ( i ) , nơi một ( i ) biểu thị giá trị trong i cột -thứ của A và Σ là tổng trên các hàng. Các i j -thứ off-đường chéo yếu tố trong đó là Σ một ( i ) một ( j ) .$i$$\sum a_{(i)}^2$$a_{(i)}$$i$$\bf A$$\sum$$ij$$\sum a_{(i)}a_{(j)}$

Có một số hệ số liên kết quan trọng và ma trận vuông của chúng được gọi là độ tương tự góc hoặc độ tương tự kiểu SSCP:

• Chia ma trận SSCP cho , kích thước mẫu hoặc số hàng của A , bạn nhận được ma trận MSCP (trung bình bình phương và chéo sản phẩm). Do đó, công thức cặp của biện pháp kết hợp này là ∑ x $n$$\bf A$ (với vectơxvàylà một cặp cột từA).$\frac{\sum xy}{n}$$x$$y$$\bf A$

• Nếu bạn căn giữa các cột (biến) của , thì A ′ A là ma trận phân tán (hoặc đồng phân tán, nếu nghiêm ngặt) và A ′ A / ( n - 1 ) là ma trận hiệp phương sai . Công thức cặp của hiệp phương sai là ∑ c x c $\bf A$$\bf A'A$$\mathbf {A'A}/(n-1)$ vớicxvàcybiểu thị các cột trung tâm.$\frac{\sum c_xc_y}{n-1}$$c_x$$c_y$

• Nếu bạn Z- chuẩn cột (trừ cột có ý nghĩa và chia cho độ lệch chuẩn), sau đó A ' A / ( n - 1 ) là Pearson tương quan ma trận: tương quan là hiệp phương sai cho các biến được chuẩn hóa. Công thức tương quan theo cặp là ∑ z x z $\bf A$$\mathbf {A'A}/(n-1)$ vớizxvàzybiểu thị các cột được tiêu chuẩn hóa. Mối tương quan còn được gọi là hệ số tuyến tính.$\frac{\sum z_xz_y}{n-1}$$z_x$$z_y$

• Nếu bạn unit- quy mô cột của (mang SS của họ, tổng bình phương, để 1), sau đó A ' Một là cosin ma trận tương đồng. Do đó, công thức cặp tương đương có vẻ là ∑ u x u y = ∑ x $\bf A$$\bf A'A$ vớiuxvàuybiểu thị các cột được chuẩn hóa L2. Tương tự cosine còn được gọi là hệ số tỷ lệ.$\sum u_xu_y = \frac{\sum{xy}}{\sqrt{\sum x^2}\sqrt{\sum y^2}}$$u_x$$u_y$

• Nếu bạn tập trung và sau đó unit- quy mô cột , sau đó A ' Một lần nữa là Pearson tương quan ma trận, bởi vì tương quan là cosin cho các biến làm trung tâm 1 , 2 : Σ c u x c u y = Σ c x c $\bf A$$\bf A'A$$^{1,2}$$\sum cu_xcu_y = \frac{\sum{c_xc_y}}{\sqrt{\sum c_x^2}\sqrt{\sum c_y^2}}$

Bên cạnh bốn biện pháp hiệp hội chính này, chúng ta cũng đề cập đến một số biện pháp khác, cũng dựa trên , để vượt qua nó. Chúng có thể được coi là các biện pháp thay thế cho sự tương tự cosin bởi vì chúng áp dụng khác với bình thường hóa, mẫu số trong công thức:$\bf A'A$

• Hệ số nhận dạng [Zegers & ten Berge, 1985] có mẫu số của nó ở dạng trung bình số học thay vì trung bình hình học: . Nó có thể là 1 khi và chỉ khi các cột được so sánh củaAgiống hệt nhau.$\frac{\sum{xy}}{(\sum x^2+\sum y^2)/2}$$\bf A$

• Một hệ số có thể sử dụng khác giống như nó được gọi là tỷ lệ tương tự : .$\frac{\sum{xy}}{\sum x^2 + \sum y^2 -\sum {xy}} = \frac{\sum{xy}}{\sum {xy} + \sum {(x-y)^2}}$

• Cuối cùng, nếu giá trị trong là không âm và họ sum trong cột là 1 (ví dụ họ là tỷ lệ), sau đó $\bf A$ là ma trận củađộ trung thựchoặchệ sốBhattacharyya.$\bf \sqrt {A}'\sqrt A$

Một cách cũng phải tính toán tương quan hoặc hiệp phương sai ma trận, sử dụng bởi nhiều phần mềm thống kê, bỏ qua tập trung dữ liệu và khởi hành trực tiếp từ SSCP ma trận A ' Một cách này. Gọi s là vectơ hàng của tổng cột dữ liệu A trong khi n là số hàng trong dữ liệu. Sau đó (1) tính toán ma trận tán xạ như C = A ' A - s ' s / n [từ đó, C / ( n - 1 ) sẽ là ma trận hiệp phương sai]; (2) đường chéo của$^1$$\bf A'A$$\bf s$$\bf A$$n$$\bf C = A'A-s's/ \it n$$\mathbf C/(n-1)$$\bf C$là tổng các độ lệch bình phương, vectơ hàng ; (3) tương quan tính toán ma trận R = C / $\bf d$ .$\bf R=C/\sqrt{d'd}$

Một người đọc mới làm quen nhưng có tính thống kê có thể gặp khó khăn trong việc điều hòa hai định nghĩa tương quan - là "hiệp phương sai" (bao gồm tính trung bình theo kích thước mẫu, cách chia theodf= "n-1") và là "cosine" (ngụ ý không tính trung bình như vậy). Nhưng trên thực tế không có trung bình thực sự trong công thức tương quan đầu tiên diễn ra. Điều đó là st. độ lệch, theo đó tiêu chuẩn hóa z đã đạt được, đã lần lượt được tính toán với phép chia theo cùngdf đó; và do đó mẫu số "n-1" trong công thức tương quan - như - hiệp phương sai hoàn toàn hủy bỏ nếu bạn hủy bỏ công thức: công thứcbiến thành công thức của cosin. Để tính giá trị tương quan theo kinh nghiệm, bạn thực sựkhôngcầnphảibiết$^2$$n$ (ngoại trừ khi tính toán trung bình, đến trung tâm).

Ma trận chứa tất cả các sản phẩm bên trong của tất cả các cột trong Một . Do đó, đường chéo chứa các chỉ tiêu bình phương của các cột. Nếu bạn nghĩ về hình chiếu và hình chiếu trực giao lên không gian cột được kéo dài bởi các cột trong A, bạn có thể nhớ rằng các chỉ tiêu và sản phẩm bên trong của các vectơ bao trùm không gian này đóng vai trò trung tâm trong tính toán của phép chiếu. Hồi quy bình phương tối thiểu cũng như các thành phần chính có thể được hiểu theo các hình chiếu trực giao.$A^TA$$A$$A$

Cũng lưu ý rằng nếu các cột của là trực giao, do đó hình thành cơ sở trực giao cho không gian cột, thì A T A = I - ma trận danh tính.$A$$A^TA = I$ $-$

@NRH đã đưa ra một câu trả lời kỹ thuật tốt.

Nếu bạn muốn một cái gì đó thực sự cơ bản, bạn có thể nghĩ là ma trận tương đương với A 2 cho một vô hướng.$A^TA$$A^2$

Một quan điểm quan trọng về hình học của là điều này (quan điểm nhấn mạnh trong cuốn sách của Strang về "Đại số tuyến tính và các ứng dụng của nó"): Giả sử A là một m × n -matrix của hạng k, đại diện cho bản đồ tuyến tính A : R n → R m . Hãy Col (A) và Row (A) là không gian cột và hàng của Một . Sau đó$A'A$$m \times n$$A: R^n \rightarrow R^m$$A$

(a) Là một ma trận đối xứng thực, có cơ sở { e 1 , . . . , E n } của vector riêng với giá trị riêng khác không d 1 , ... , d k . Do vậy:$(A'A): R^n \rightarrow R^n$$\{e_1,..., e_n\}$$d_1,\ldots,d_k$

.$(A'A)(x_1e_1 + \ldots + x_ne_n) = d_1x_1e_1 + ... + d_kx_ke_k$

(b) Phạm vi (A) = Col (A), theo định nghĩa của Col (A). Vậy A | Row (A) ánh xạ Row (A) thành Col (A).

(c) Kernel (A) là phần bù trực giao của Row (A). Điều này là do phép nhân ma trận được xác định theo các sản phẩm chấm (hàng i) * (col j). (Vì vậy, $Av'= 0 \iff \text{v is in Kernel(A)} \iff v \text{is in orthogonal complement of Row(A)}$

(Cười mở miệng) và A | Hàng (A) : Hàng (A) → C o l ( A ) là một đẳng cấu.$A(R^n)=A(\text{Row}(A))$$A|\text{Row(A)}:\text{Row(A)} \rightarrow Col(A)$

Reason: If v = r+k (r \in Row(A), k \in Kernel(A),from (c)) then
A(v) = A(r) + 0 = A(r) where A(r) = 0 <==> r = 0$.

[Ngẫu nhiên đưa ra một bằng chứng rằng xếp hạng Hàng = Xếp hạng cột!]

(e) Áp dụng (d), là một đẳng cấu$A'|:Col(A)=\text{Row(A)} \rightarrow \text{Col(A')}=\text{Row(A)}$

(f) By (d) và (e): và A'A maps Row (A) đẳng hình lên Row (A).$A'A(R^n) = \text{Row(A)}$

Mặc dù người ta đã thảo luận rằng $\textbf{A}^T\textbf{A}$ có ý nghĩa là lấy các sản phẩm chấm, tôi sẽ chỉ thêm một biểu diễn đồ họa của phép nhân này.

Thật vậy, trong khi các hàng của ma trận $\textbf{A}^T$ (và các cột của ma trận $\textbf{A}$ ) đại diện cho các biến, chúng tôi coi mỗi phép đo biến là một vectơ đa chiều. Nhân hàng $row_p$ của $\textbf{A}^T$ với cột $col_p$ của $\textbf{A}$ tương đương với lấy tích của hai vectơ: $dot(row_p, col_p)$ - kết quả là mục nhập tại vị trí$(p,p)$bên trong ma trận $\textbf{A}^T \textbf{A}$ .

Tương tự, nhân hàng $p$ của $\textbf{A}^T$ với cột $k$ của $\textbf{A}$ tương đương với sản phẩm chấm: $dot(row_p, col_k)$ , với kết quả tại vị trí$(p,k)$ .

Mục nhập $(p, k)$ của ma trận kết quả $\textbf{A}^T\textbf{A}$ có ý nghĩa là bao nhiêu vectơ $row_p$ theo hướng của vectơ $col_k$ . Nếu tích của hai vectơ $row_i$ và $col_j$ khác 0, một số thông tin về vectơ $row_i$ được mang bởi một vectơ $col_j$, và ngược lại.

Ý tưởng này đóng một vai trò quan trọng trong Phân tích thành phần chính, trong đó chúng tôi muốn tìm một đại diện mới cho ma trận dữ liệu ban đầu của chúng tôi $\textbf{A}$ sao cho không có thêm thông tin nào về bất kỳ cột nào$i$ trong bất kỳ cột khác$j \neq i$ . Nghiên cứu PCA sâu hơn, bạn sẽ thấy rằng một "phiên bản mới" của ma trận hiệp phương sai được tính toán và nó trở thành một ma trận chéo mà tôi để bạn nhận ra rằng ... thực sự nó có nghĩa là những gì tôi đã diễn đạt trong câu trước.

$x\to E[x^2]$$A\to A^TA$

$x$$x_i$

$x$

$\sigma^2=E[x^2]$$A^TA$$A^TA$