Tuyến tính của PCA

35

PCA được coi là một thủ tục tuyến tính, tuy nhiên:

P C A (X) \neq P C A (X_{1}) + P C A (X_{2}) + \dots + P C A (X_{n}),

$\mathrm{PCA}(X)\neq \mathrm{PCA}(X_1)+\mathrm{PCA}(X_2)+\ldots+\mathrm{PCA}(X_n),$

trong đó . Điều này có nghĩa là các hàm riêng được PCA thu được trên các ma trận dữ liệu không tổng hợp bằng với các hàm riêng mà PCA thu được trên tổng các ma trận dữ liệu . Nhưng không phải là định nghĩa của hàm tuyến tính mà: $X=X_1+X_2+\ldots+X_n$ $X_i$ $X_i$ $f$

f (x + y) = f (x) + f (y) ?

$f(x+y)=f(x)+f(y)?$

Vậy tại sao PCA được coi là "tuyến tính" nếu nó không thỏa mãn điều kiện rất cơ bản này của tuyến tính?

pca linear

— AlphaOmega
nguồn

Tôi đã từng viết hoặc nghe (xin lỗi, tôi không thể nhớ ở đâu hoặc khi nào), PCA "thuộc họ thủ tục tuyến tính" vì nó phụ thuộc vào sự phụ thuộc tuyến tính giữa các biến. Nó sử dụng ma trận tương quan Pearson và tìm kiếm các tổ hợp tuyến tính có phương sai cao nhất.

— Łukasz Deryło

4

Bản chất của câu hỏi này có thể trở nên rõ ràng hơn một chút bằng cách suy nghĩ về thiết lập đơn giản và thường quy hơn của hồi quy bình phương nhỏ nhất bình thường: đây là nguyên mẫu của một thủ tục thống kê tuyến tính. Tuy nhiên, quá trình ước tính các hệ số bình phương tối thiểu là một hàm phi tuyến rõ ràng của ma trận dữ liệu , được chứng thực bởi công thức . (Lưu ý rằng đó là một hàm tuyến tính của vectơ phản hồi .)

X

$X$

\hat{β} = (X^{'} X)^{- 1} X^{'} y

$\hat\beta = (X^\prime X)^{-1}X^\prime y$

y

$y$

— whuber

4

Có thể đáng để nhớ rằng f (x) = x + 1 cũng là một "hàm tuyến tính" ... nhưng nó không thỏa mãn những gì bạn vừa nói ... sẽ giải thích điều gì đó.

— Mehrdad

Đó là bởi vì

(X_{1} + X_{2})^{T} (X_{1} + X_{2}) \neq X_{1}^{T} X_{1} + X_{2}^{T} X_{2}

$(X_1+X_2)^T(X_1+X_2)\neq X_1^TX_1+X_2^TX_2$

— Gabriel Romon

39

Khi chúng tôi nói rằng PCA là một phương pháp tuyến tính, chúng tôi đề cập đến việc ánh xạ giảm kích thước từ không gian chiều cao sang không gian chiều thấp hơn . Trong PCA, ánh xạ này được đưa ra bằng cách nhân với ma trận của trình xác định PCA và do đó rõ ràng là tuyến tính (phép nhân ma trận là tuyến tính):Điều này trái ngược với các phương pháp giảm kích thước phi tuyến , trong đó ánh xạ giảm chiều có thể là phi tuyến. $f:\mathbf x\mapsto \mathbf z$ $\mathbb R^p$ $\mathbb R^k$ $\mathbf x$

z = f (x) = V^{⊤} x .

$\mathbf z = f(\mathbf x) = \mathbf V^\top \mathbf x.$

Mặt khác, các eigenvector top được tính từ ma trận dữ liệu bằng cách sử dụng cái mà bạn gọi là trong câu hỏi của bạn: và đây lập bản đồ chắc chắn là phi tuyến tính: nó liên quan đến vector riêng máy tính của ma trận hiệp phương sai, mà là một thủ tục phi tuyến tính . (Như một ví dụ tầm thường, nhân với làm tăng ma trận hiệp phương sai lên , nhưng các hàm riêng của nó vẫn giữ nguyên như chúng được chuẩn hóa để có độ dài đơn vị.) $k$ $\mathbf V\in \mathbb R^{p\times k}$ $\mathbf X\in \mathbb R^{n\times p}$ $\mathrm{PCA}()$

V = P C A (X),

$\mathbf V = \mathrm{PCA}(\mathbf X),$

X

$\mathbf X$

2

$2$

4

$4$

— amip nói phục hồi Monica
nguồn

Rằng tôi đã nhận được 35 lượt upvote cho câu trả lời tầm thường này là khá vô lý (và chủ yếu là do chủ đề này nằm trong Câu hỏi mạng nóng trong một thời gian).

— amip nói phục hồi Monica

5

"Tuyến tính" có thể có nghĩa là nhiều thứ, và không chỉ được sử dụng một cách chính thức.

PCA thường không được định nghĩa là một hàm theo nghĩa chính thức, và do đó, nó không được mong đợi sẽ đáp ứng các yêu cầu của hàm tuyến tính khi được mô tả như vậy. Nó thường được mô tả, như bạn đã nói, như một thủ tục, và đôi khi là một thuật toán (mặc dù tôi không thích tùy chọn cuối cùng này). Nó thường được gọi là tuyến tính theo cách không chính thức, không được xác định rõ.

PCA có thể được coi là tuyến tính, ví dụ, theo nghĩa sau đây. Nó thuộc về một họ các phương thức xem xét rằng mỗi biến có thể được xấp xỉ bởi một hàm trong đó và là một tập hợp các biến với một số biến mong muốn bất động sản. Trong trường hợp của PCA, là một tập hợp các biến độc lập có thể giảm về số lượng tim với sự mất mát tối thiểu về độ chính xác gần đúng theo một nghĩa cụ thể. Đó là những thuộc tính mong muốn trong nhiều cài đặt. $X_i$

X_{i} \approx f_{Y} (α)

$X_i \approx f_Y(\alpha)$

α \in R^{k}

$\alpha \in \mathbb{R}^k$

Y

$Y$

k

$k$

Y

$Y$

Bây giờ, cho PCA, mỗi bị hạn chế mẫu có nghĩa là, một sự kết hợp tuyến tính của các biến trong . $f_i$

f_{Y} (α) = \sum_{i = 1}^{k} α_{i} Y_{i}

$f_Y(\alpha) = \sum_{i=1}^k \alpha_{i}Y_i$

Y

$Y$

Với hạn chế này, nó đưa ra một quy trình để tìm các giá trị tối ưu (trong một số ý nghĩa) của và '. Đó là, PCA chỉ coi các chức năng tuyến tính là các giả thuyết hợp lý. Theo nghĩa này, tôi nghĩ rằng nó có thể được mô tả một cách hợp pháp là "tuyến tính". $Y$ $\alpha_{ij}$

— broncoAbierto
nguồn

3

PCA cung cấp / là một chuyển đổi tuyến tính.

$\mathbf{M} \equiv PCA(X_1 + X_2)$ $\mathbf{M}(X_1+X_2) = \mathbf{M}(X_1) + \mathbf{M}(X_2)$

$PCA(X_1 + X_2)$ $PCA(X_1)$ $PCA(X_2)$

Khi so sánh, một ví dụ rất đơn giản về một quá trình sử dụng phép biến đổi tuyến tính nhưng bản thân nó không phải là phép biến đổi tuyến tính:

Phép quay đôi góc của vectơ (giả sử một điểm trong không gian eidianidian 2-d) với một số vectơ tham chiếu (giả sử ), không phải là phép biến đổi tuyến tính. Ví dụ $D(\mathbf{v})$ $\mathbf{v}$ $\left[x,y\right]=\left[1,0\right]$

$D(\left[1,1\right]) \rightarrow \left[0,\sqrt{2}\right]$

và

$D(\left[0,1\right]) \rightarrow \left[-1,0\right]$

nhưng

$D(\left[1,1\right]+\left[0,1\right]=\left[1,2\right]) \rightarrow \left[-0.78,2.09\right] \neq \left[-1,\sqrt{2}\right]$

sự nhân đôi của góc này, bao gồm việc tính toán các góc, không phải là tuyến tính và tương tự như tuyên bố của amip, rằng tính toán của eigenvector không phải là tuyến tính

— Sextus Empiricus
nguồn