Hàm mục tiêu PCA: mối liên hệ giữa tối đa hóa phương sai và giảm thiểu lỗi là gì?

Thuật toán PCA có thể được xây dựng theo ma trận tương quan (giả sử dữ liệu $X$ đã được chuẩn hóa và chúng tôi chỉ xem xét phép chiếu lên PC đầu tiên). Hàm mục tiêu có thể được viết là:

max_{w} (X w)^{T} (X w) s.t. w^{T} w = 1.

$\max_w (Xw)^T(Xw)\; \: \text{s.t.} \: \:w^Tw = 1.$

Điều này là tốt, và chúng tôi sử dụng số nhân Lagrangian để giải quyết nó, tức là viết lại nó thành:

max_{w} [(X w)^{T} (X w) - λ w^{T} w],

$\max_w [(Xw)^T(Xw) - \lambda w^Tw],$

tương đương với

max_{w} \frac{(X w)^{T} (X w)}{w^{T} w},

$\max_w \frac{ (Xw)^T(Xw) }{w^Tw},$

và do đó ( xem ở đây trên Mathworld ) dường như bằng

max_{w} \sum_{i = 1}^{n} {(distance from point x_{i} to line w)}^{2} .

$\max_w \sum_{i=1}^n \text{(distance from point $x_i$ to line $w$)}^2.$

Nhưng điều này có nghĩa là tối đa hóa khoảng cách giữa điểm và đường và từ những gì tôi đã đọc ở đây , điều này không chính xác - nên là , không phải . Lỗi của tôi ở đâu? $\min$ $\max$

Hoặc, ai đó có thể chỉ cho tôi liên kết giữa tối đa hóa phương sai trong không gian được chiếu và giảm thiểu khoảng cách giữa điểm và đường không?

pca optimization

— Cam.Davidson.Pilon
nguồn

Tôi nghĩ khoảng cách tối thiểu được sử dụng để đáp ứng tiêu chí về tính trực giao cho các thành phần. Các điểm được chiếu vào các PC trực giao với nhau nhưng trong mỗi thành phần kế tiếp, phương sai còn lại được tối đa hóa.

— Michael R. Chernick

Gợi ý: Điều gì xảy ra khi bạn xem xét giá trị riêng nhỏ nhất trước, thay vì giá trị lớn nhất?

— whuber

@whuber Giá trị riêng nhỏ nhất có lẽ có PC là giải pháp cho chức năng mục tiêu cuối cùng. Nhưng PC này không tối đa hóa chức năng mục tiêu ban đầu.

— Cam.Davidson.Pilon

Tôi không chắc ý của bạn là gì bởi hàm mục tiêu "cuối cùng" và "gốc", Cam. PCA không (về mặt khái niệm) là một chương trình tối ưu hóa. Đầu ra của nó là một tập hợp các hướng chính, không chỉ một. Một định lý toán học (thú vị) có thể tìm thấy các hướng này bằng cách giải một chuỗi các chương trình bậc hai bị ràng buộc, nhưng điều đó không cơ bản đối với các khái niệm hoặc thực tiễn của PCA. Tôi chỉ đề xuất rằng, bằng cách tập trung vào giá trị riêng nhỏ nhất thay vì giá trị lớn nhất, bạn có thể điều hòa hai ý tưởng về (1) thu nhỏ khoảng cách và (2) xem tối ưu hóa PCA.

— whuber

Không sao đâu - câu trả lời của bạn là phiên bản không nhầm lẫn của những gì tôi đang cố gắng làm.

— Cam.Davidson.Pilon

Đặt là ma trận dữ liệu trung tâm với quan sát trong các hàng. Đặt là ma trận hiệp phương sai của nó. Đặt là một vectơ đơn vị chỉ định một trục trong không gian biến. Chúng tôi muốn là trục chính đầu tiên. $\newcommand{\X}{\mathbf X}\X$ $n$ $\newcommand{\S}{\boldsymbol \Sigma}\S=\X^\top\X/(n-1)$ $\newcommand{\w}{\mathbf w}\w$ $\w$

Theo cách tiếp cận đầu tiên, trục chính đầu tiên tối đa hóa phương sai của phép chiếu (phương sai của thành phần chính đầu tiên). Phương sai này được đưa ra bởi $\X \w$

V a r (X w) = w^{⊤} X^{⊤} X w / (n - 1) = w^{⊤} Σ w .

$\mathrm{Var}(\X\w)=\w^\top\X^\top \X \w/(n-1)=\w^\top\S\w.$

Theo cách tiếp cận thứ hai, trục chính thứ nhất giảm thiểu lỗi tái cấu trúc giữa và tái tạo của nó , tức là tổng khoảng cách bình phương giữa các điểm ban đầu và các hình chiếu của chúng lên . Bình phương của lỗi xây dựng lại được đưa ra bởi $\X$ $\X\w\w^\top$ $\w$

\begin{aligned} ‖ X - X w w^{⊤} ‖^{2} & = t r ((X - X w w^{⊤}) (X - X w w^{⊤})^{⊤}) \\ = t r ((X - X w w^{⊤}) (X^{⊤} - w w^{⊤} X^{⊤})) \\ = t r (X X^{⊤}) - 2 t r (X w w^{⊤} X^{⊤}) + t r (X w w^{⊤} w w^{⊤} X^{⊤}) \\ = c o n s t - t r (X w w^{⊤} X^{⊤}) \\ = c o n s t - t r (w^{⊤} X^{⊤} X w) \\ = c o n s t - c o n s t \cdot w^{⊤} Σ w . \end{aligned}

$\begin{align}\newcommand{\tr}{\mathrm{tr}} \|\X-\X\w\w^\top\|^2 &=\tr\left((\X-\X\w\w^\top)(\X-\X\w\w^\top)^\top\right) \\ &=\tr\left((\X-\X\w\w^\top)(\X^\top-\w\w^\top\X^\top)\right) \\ &=\tr(\X\X^\top)-2\tr(\X\w\w^\top\X^\top)+\tr(\X\w\w^\top\w\w^\top\X^\top) \\ &=\mathrm{const}-\tr(\X\w\w^\top\X^\top) \\ &=\mathrm{const}-\tr(\w^\top\X^\top\X\w) \\ &=\mathrm{const} - \mathrm{const} \cdot \w^\top \S \w. \end{align}$

Lưu ý dấu trừ trước thời hạn chính. Do đó, tối thiểu hóa số lỗi tái cấu trúc để tối đa hóa , đây là phương sai. Vì vậy, giảm thiểu lỗi tái cấu trúc tương đương với tối đa hóa phương sai; cả hai công thức đều cho cùng một . $\w^\top \S \w$ $\w$

— amip nói phục hồi Monica
nguồn

Một cái gì đó tôi nhận thấy, không phải là là một hàm lồi (Đối với như là PSD? Làm thế nào để chúng ta cố gắng tối đa hóa nó?

w^{T} Σ w

${w}^{T} \Sigma w$

w

$w$

Σ

$\Sigma$

— Royi

@amoeba bạn có thể giải thích cách bạn đi từ tr () đến const trong bước cuối cùng không?

— alberto

@alberto Cái bên trong dấu vết là một số (ma trận 1x1); một dấu vết của một số là chính con số này, vì vậy dấu vết có thể được loại bỏ. Hằng số xuất hiện vì bằng , do đó có hệ .

Σ

$\Sigma$

X^{⊤} X / n

$X^\top X/n$

1 / n

$1/n$

— amip nói rằng Phục hồi Monica

@Leullame Việc tính toán sẽ giữ nguyên văn cho nếu đó là một ma trận với các cột trực giao. Bạn cần để đi từ dòng số 3 đến dòng số 4. Nếu ma trận có các cột trực giao, thì thực sự sẽ là hình chiếu của lên không gian con được kéo dài bởi các cột của (ở đây là một vectơ hàng).

W

$W$

W^{⊤} W = I

$W^\top W = I$

W

$W$

x W W^{⊤}

$xWW^\top$

x

$x$

W

$W$

x

$x$

— amip nói phục hồi Monica

@ DanielLópez Chà, chúng tôi đang tìm kiếm một không gian con 1 chiều giảm thiểu lỗi tái thiết. Không gian con 1 chiều có thể được xác định bởi một vectơ chỉ tiêu đơn vị chỉ vào hướng của nó, đó là những gì được thực hiện. Nó có định mức đơn vị bằng cách xây dựng.

w

$w$

— amip nói rằng Phục hồi lại