Phân tích thành phần chính trong trò chơi ngược về phía trước: có bao nhiêu phương sai của dữ liệu được giải thích bởi sự kết hợp tuyến tính nhất định của các biến?

Tôi đã thực hiện một bộ phận phân tích chính gồm sáu biến $A$ , $B$ , $C$ , $D$ , $E$ và $F$ . Nếu tôi hiểu chính xác, PC1 không được bảo vệ sẽ cho tôi biết tổ hợp tuyến tính nào của các biến này mô tả / giải thích phương sai nhất trong dữ liệu và PC2 cho tôi biết tổ hợp tuyến tính nào của các biến này mô tả phương sai nhất tiếp theo trong dữ liệu, v.v.

Tôi chỉ tò mò - có cách nào để làm điều này "ngược" không? Giả sử tôi chọn một số kết hợp tuyến tính của các biến này - ví dụ $A+2B+5C$ , tôi có thể tìm ra bao nhiêu phương sai trong dữ liệu này mô tả không?

Nếu chúng ta bắt đầu với tiền đề rằng tất cả các biến đã được tập trung (thực hành tiêu chuẩn trong PCA), thì tổng phương sai trong dữ liệu chỉ là tổng bình phương:

$$T=\sum_{i}(A_{i}^{2}+B_{i}^{2}+C_{i}^{2}+D_{i}^{2}+E_{i}^{2}+F_{i}^{2})$$

Điều này bằng với dấu vết của ma trận hiệp phương sai của các biến, bằng tổng giá trị riêng của ma trận hiệp phương sai. Đây là cùng một số lượng mà PCA nói về "giải thích dữ liệu" - tức là bạn muốn PC của bạn giải thích tỷ lệ lớn nhất của các yếu tố đường chéo của ma trận hiệp phương sai. Bây giờ nếu chúng ta biến điều này thành một hàm mục tiêu cho một tập hợp các giá trị dự đoán như vậy:

$$S=\sum_{i}\left(\left[A_{i}-\hat{A}_{i}\right]^{2}+\dots+\left[F_{i}-\hat{F}_{i}\right]^{2}\right)$$

Sau đó, các thành phần chính nhằm làm giảm tối đầu tiên trong số tất cả bậc 1 giá trị được trang bị ( Một i , ... , F i ) . Vì vậy, có vẻ như số lượng thích hợp bạn theo sau là P = 1 - $S$$(\hat{A}_{i},\dots,\hat{F}_{i})$ Để sử dụng ví dụ của bạnA+2B+5C, chúng ta cần biến phương trình này thành dự đoán xếp hạng 1. Trước tiên, bạn cần bình thường hóa các trọng số để có tổng bình phương 1. Vì vậy, chúng tôi thay thế(1,2,5,0,0,0)(tổng bình phương30) bằng(

$$P=1-\frac{S}{T}$$ $A+2B+5C$$(1,2,5,0,0,0)$$30$. Tiếp theo, chúng tôi "chấm điểm" từng quan sát theo các trọng số chuẩn hóa:$\left(\frac{1}{\sqrt{30}},\frac{2}{\sqrt{30}},\frac{5}{\sqrt{30}},0,0,0\right)$

$$Z_{i}=\frac{1}{\sqrt{30}}A_{i}+\frac{2}{\sqrt{30}}B_{i}+\frac{5}{\sqrt{30}}C_{i}$$

Sau đó, chúng tôi nhân số điểm với vectơ trọng số để có được dự đoán hạng 1 của chúng tôi.

$$\begin{pmatrix} \hat{A}_{i} \\ \hat{B}_{i} \\ \hat{C}_{i} \\ \hat{D}_{i} \\ \hat{E}_{i} \\ \hat{F}_{i}\end{pmatrix} =Z_{i}\times\begin{pmatrix} \frac{1}{\sqrt{30}} \\ \frac{2}{\sqrt{30}} \\ \frac{5}{\sqrt{30}} \\ 0 \\ 0 \\ 0\end{pmatrix}$$

Sau đó, chúng tôi cắm những ước tính vào tính toán P . Bạn cũng có thể đặt điều này vào ký hiệu định mức ma trận, có thể gợi ý một khái quát khác nhau. Nếu chúng ta đặt O là ma trận N × q của các giá trị quan sát của các biến ( q = 6 trong trường hợp của bạn) và E là ma trận dự đoán tương ứng. Chúng ta có thể định nghĩa tỷ lệ phương sai được giải thích là:$S$$P$$O$$N\times q$$q=6$$E$

$$\frac{||O||_{2}^{2}-||O-E||_{2}^{2}}{||O||_{2}^{2}}$$

Ở đâu là định mức ma trận Frobenius . Vì vậy, bạn có thể "khái quát" đây là một loại định mức ma trận khác và bạn sẽ có được một thước đo khác biệt về "biến thể được giải thích", mặc dù nó sẽ không phải là "phương sai" mỗi lần trừ khi đó là tổng bình phương.$||.||_{2}$

Giả sử tôi chọn một số kết hợp tuyến tính của các biến này - ví dụ , tôi có thể tìm ra bao nhiêu phương sai trong dữ liệu này mô tả không?$A+2B+5C$

Câu hỏi này có thể được hiểu theo hai cách khác nhau, dẫn đến hai câu trả lời khác nhau.

Một kết hợp tuyến tính tương ứng với một vectơ, trong ví dụ của bạn là . Lần lượt, vectơ này xác định một trục trong không gian 6D của các biến ban đầu. Những gì bạn đang hỏi là, chiếu bao nhiêu phương sai trên trục này "mô tả"? Câu trả lời được đưa ra thông qua khái niệm "tái cấu trúc" dữ liệu gốc từ phép chiếu này và đo lỗi tái cấu trúc (xem Wikipedia về Phân số phương sai không giải thích được ). Hóa ra, việc tái thiết này có thể được thực hiện một cách hợp lý theo hai cách khác nhau, mang lại hai câu trả lời khác nhau.$[1, 2, 5, 0, 0, 0]$

---

Cách tiếp cận số 1

Hãy là tập dữ liệu làm trung tâm ( n hàng tương ứng với mẫu, d cột tương ứng với các biến), chúng ta hãy Σ được ma trận hiệp phương sai của nó, và để cho w là một vector đơn vị từ R d . Tổng phương sai của tập dữ liệu là tổng của tất cả các phương sai d , tức là dấu vết của ma trận hiệp phương sai: T = t r ( Σ ) . Câu hỏi đặt ra là: những gì tỷ lệ T làm w mô tả? Hai câu trả lời được đưa ra bởi @todddeluca và @probabilityislogic đều tương đương với các câu sau: tính toán phép chiếu X $\newcommand{\S}{\boldsymbol \Sigma} \newcommand{\w}{\mathbf w} \newcommand{\v}{\mathbf v}\newcommand{\X}{\mathbf X} \X$$n$$d$$\S$$\w$$\mathbb R^d$$d$$T = \mathrm{tr}(\S)$$T$$\w$$\X \w$, tính toán phương sai của nó và chia cho : R 2 f i r s t = V a r ( X w$T$

$$R^2_\mathrm{first} = \frac{\mathrm{Var}(\X \w)}{T} = \frac{\w^\top \S \w}{\mathrm{tr}(\S)}.$$

Đây có thể không phải ngay lập tức rõ ràng, vì ví dụ @probabilityislogic gợi ý để xem xét việc tái thiết và sau đó để tính toán ‖ X ‖ 2 - ‖ X - X w w ⊤ ‖ $\X \w \w^\top$nhưng với một chút đại số này có thể được chứng minh là một biểu thức tương đương.

$$\frac{\|\X\|^2 - \|\X-\X \w \w^\top\|^2}{\|\X\|^2},$$

---

Cách tiếp cận số 2

Được chứ. Bây giờ hãy xem xét một ví dụ sau: là một d = 2 bộ dữ liệu với hiệp phương sai ma trận Σ = ( 1 0,99 0,99 1 ) và w = ( 1 0 ) ⊤ chỉ đơn giản là một x vector:$\X$$d=2$

$$\S = \left(\begin{array}{c}1&0.99\\0.99&1\end{array}\right)$$ $\mathbf w = (\begin{array}{}1&0\end{array})^\top$$x$

Tổng phương sai là . Phương sai của hình chiếu lên w (hiển thị bằng các chấm màu đỏ) bằng 1 . Vì vậy, theo logic trên, giải thích sai bằng 1 / 2 . Và theo một nghĩa nào đó, đó là: các chấm đỏ ("tái tạo") nằm cách xa các chấm xanh tương ứng, do đó, rất nhiều phương sai bị "mất".$T=2$$\w$$1$$1/2$

Mặt khác, hai biến có tương quan và do đó gần như giống hệt nhau; nói rằng một trong số chúng chỉ mô tả 50 % tổng phương sai là kỳ lạ, bởi vì mỗi trong số chúng chứa "gần như tất cả thông tin" về cái thứ hai. Chúng ta có thể chính thức hóa nó như sau: phép chiếu X w , tìm một phép tái tạo tốt nhất có thể X w v ⊤ với v không nhất thiết giống như w , và sau đó tính toán lỗi tái tạo và cắm nó vào biểu thức cho tỷ lệ phương sai được giải thích: R 2 s e c o $0.99$$50\%$$\X\w$$\X\w\v^\top$$\v$$\w$nơivđược chọn sao cho‖X-Xwv⊤‖2là tối thiểu (tức làR2là tối đa). Điều này hoàn toàn tương đương với tính toánR2của hồi quy đa biến dự đoán bộ dữ liệu gốcXtừphép chiếu1chiềuXw.

$$R^2_\mathrm{second}=\frac{\|\X\|^2 - \|\X-\X \w \v^\top\|^2}{\|\X\|^2},$$ $\v$$\|\X-\X \w \v^\top\|^2$$R^2$$R^2$$\X$$1$$\X\w$

Đó là một vấn đề của đại số đơn giản để sử dụng giải pháp hồi quy cho để thấy rằng sự biểu hiện đơn giản hoá toàn bộ để R 2 s đ c o n d = ‖ Σ w ‖ $\v$Trong ví dụ trên, giá trị này bằng0,9901, có vẻ hợp lý.

$$R^2_\mathrm{second}=\frac{\|\S \w\|^2}{\w^\top \S \w \cdot \mathrm{tr}(\S)}.$$ $0.9901$

Lưu ý rằng nếu (và chỉ nếu) là một trong những vector riêng của Σ , tức là một trong những trục chính, với eigenvalue λ (để Σ w = λ w ), sau đó cả hai phương pháp tiếp cận để tính toán R 2 trùng và giảm đến quen thuộc Biểu thức PCA R 2 P C A = R 2 f i r s t = R 2 s e c o n d = λ / t r ( Σ ) $\w$$\S$$\lambda$$\S \w = \lambda \w$$R^2$

$$R^2_\mathrm{PCA} = R^2_\mathrm{first} = R^2_\mathrm{second} = \lambda/\mathrm{tr}(\S) = \lambda/\sum \lambda_i.$$

$\w$

---

$R^2_\mathrm{second}$

$\v$$\|\X-\X \w \v^\top\|^2$$\X \w$$\X$

$$\v^\top = \left((\X \w)^\top (\X \w)\right)^{-1}(\X \w)^\top \X = (\w^\top \S \w)^{-1} \w^\top \S.$$

$R^2$

$$R^2=\frac{\|\X\|^2 - \|\X-\X \w \v^\top\|^2}{\|\X\|^2} = \frac{\|\X \w \v^\top\|^2}{\|\X\|^2}$$

$\v$

$$\|\X \w \v^\top\|^2 = \mathrm{tr}\left(\X \w \v^\top (\X \w \v^\top)^\top\right) = \mathrm{tr}(\X\w\w^\top\S\S\w\w^\top\X^\top)/(\w^\top\S\w)^2=\mathrm{tr}(\w^\top\S\S\w)/(\w^\top\S\w) = \|\S\w\|^2 / (\w^\top\S\w).$$

$\|\X\|^2 = \mathrm{tr}(\S)$

$T$

$$T = \sum_{i} (x_i-\bar{x}) \cdot (x_i-\bar{x})$$ $\bar{x}$$x_i$$\cdot$$x_i$$f(x_i)$$f(x_i)=\bar{x}$

$x_i$$f(x_i)$$x_i$$c$

$$f_c(x_i) = (c \cdot x_i)c$$

$SSE$$c$

$$SSE_c = \sum_i (x_i - f_c(x_i)) \cdot (x_i - f_c(x_i))$$

$c$$SSE_c$$c$

$c$$(1, 2, 5, ...)$$T-SSE_c$$c$