Chức năng mục tiêu của PCA là gì?

Phân tích thành phần chính có thể sử dụng phân tách ma trận, nhưng đó chỉ là một công cụ để đạt được điều đó.

Làm thế nào bạn sẽ tìm thấy các thành phần chính mà không sử dụng đại số ma trận?

Hàm mục tiêu (mục tiêu) là gì và các ràng buộc là gì?

Không cần cố gắng đưa ra một đoạn mồi đầy đủ trên PCA, từ quan điểm tối ưu hóa, chức năng mục tiêu chính là thương số Rayleigh . Ma trận mà số liệu trong thương số là (một số bội số) ma trận hiệp phương sai mẫu trong đó mỗi là một vector của tính năng và là ma trận như vậy mà thứ hàng là .

$$\newcommand{\m}[1]{\mathbf{#1}}\newcommand{\x}{\m{x}}\newcommand{\S}{\m{S}}\newcommand{\u}{\m{u}}\newcommand{\reals}{\mathbb{R}}\newcommand{\Q}{\m{Q}}\newcommand{\L}{\boldsymbol{\Lambda}} \S = \frac{1}{n} \sum_{i=1}^n \x_i \x_i^T = \m{X}^T \m{X} / n$$ $\x_i$$p$$\m{X}$$i$$\x_i^T$

PCA tìm cách giải quyết một chuỗi các vấn đề tối ưu hóa. Đầu tiên trong chuỗi là vấn đề không bị ràng buộc

$$\begin{array}{ll} \text{maximize} & \frac{\u^T \S \u}{\u^T\u} \;, \u \in \reals^p \> . \end{array}$$

Vì, vấn đề không bị ràng buộc ở trên tương đương với vấn đề bị ràng buộc $\u^T \u = \|\u\|_2^2 = \|\u\| \|\u\|$

$$\begin{array}{ll} \text{maximize} & \u^T \S \u \\ \text{subject to} & \u^T \u = 1 \>. \end{array}$$

Đây là nơi đại số ma trận xuất hiện. Vì là ma trận bán nguyệt dương đối xứng (bằng cách xây dựng!), Nó có phân rã giá trị riêng có dạng trong đó là một Ma trận trực giao (vì vậy ) và là ma trận đường chéo với các mục không âm sao cho .$\S$

$$\S = \Q \L \Q^T \>,$$ $\Q$$\Q \Q^T = \m{I}$$\L$$\lambda_i$$\lambda_1 \geq \lambda_2 \geq \cdots \geq \lambda_p \geq 0$

Do đó, . Vì bị ràng buộc trong bài toán có định mức là một, nên kể từ , nhờ là trực giao.$\u^T \S \u = \u^T \Q \L \Q^T \u = \m{w}^T \L \m{w} = \sum_{i=1}^p \lambda_i w_i^2$$\u$$\m{w}$$\|\m{w}\|_2 = \|\Q^T \u\|_2 = \|\u\|_2 = 1$$\Q$

Nhưng, nếu chúng ta muốn tối đa hóa số lượng theo các ràng buộc mà , thì cách tốt nhất chúng ta có thể làm là đặt , nghĩa là, và cho .$\sum_{i=1}^p \lambda_i w_i^2$$\sum_{i=1}^p w_i^2 = 1$$\m{w} = \m{e}_1$$w_1 = 1$$w_i = 0$$i > 1$

Bây giờ, sao lưu tương ứng , đó là những gì chúng tôi đã tìm kiếm ở vị trí đầu tiên, chúng tôi nhận được rằng trong đó biểu thị cột đầu tiên của , nghĩa là eigenvector tương ứng với eigenvalue lớn nhất của . Giá trị của hàm mục tiêu sau đó cũng dễ dàng được nhìn thấy là .$\u$

$$\u^\star = \Q \m{e}_1 = \m{q}_1$$ $\m{q}_1$$\Q$$\S$$\lambda_1$

---

Các vectơ thành phần chính còn lại sau đó được tìm thấy bằng cách giải quyết chuỗi (được lập chỉ mục bởi ) các vấn đề tối ưu hóa Vì vậy, vấn đề là như nhau, ngoại trừ việc chúng ta thêm các ràng buộc bổ sung rằng giải pháp phải trực giao với tất cả các giải pháp trước đó trong chuỗi. Nó không phải là khó khăn để mở rộng tranh luận trên quy nạp để chứng minh rằng các giải pháp của thứ vấn đề là, quả thật vậy, , các th eigenvector của .$i$

$$\begin{array}{ll} \text{maximize} & \u_i^T \S \u_i \\ \text{subject to} & \u_i^T \u_i = 1 \\ & \u_i^T \u_j = 0 \quad \forall 1 \leq j < i\>. \end{array}$$ $i$$\m{q}_i$$i$$\S$

---

Giải pháp PCA cũng thường được thể hiện dưới dạng phân tách giá trị số ít của . Để xem lý do tại sao, chúng ta hãy . Khi đó và vì vậy (nói đúng ra, lên tới ký lật) và .$\m{X}$$\m{X} = \m{U} \m{D} \m{V}^T$$n \S = \m{X}^T \m{X} = \m{V} \m{D}^2 \m{V}^T$$\m{V} = \m{Q}$$\L = \m{D}^2 / n$

Các thành phần chính được tìm thấy bằng cách chiếu lên các vectơ thành phần chính. Từ công thức SVD vừa được đưa ra, dễ dàng nhận thấy rằng $\m{X}$

$$\m{X} \m{Q} = \m{X} \m{V} = \m{U} \m{D} \m{V}^T \m{V} = \m{U} \m{D} \> .$$

Sự đơn giản của việc biểu diễn cả vectơ thành phần chính và chính các thành phần chính về mặt SVD của ma trận các tính năng là một lý do khiến các tính năng SVD nổi bật trong một số phương pháp điều trị PCA.

Giải pháp được trình bày bởi hồng y tập trung vào ma trận hiệp phương sai mẫu. Một điểm khởi đầu khác là lỗi tái cấu trúc dữ liệu bởi một siêu phẳng q -chiều. Nếu p chiều điểm dữ liệu là mục tiêu là để giải quyết$x_1, \ldots, x_n$

$$\min_{\mu, \lambda_1,\ldots, \lambda_n, \mathbf{V}_q} \sum_{i=1}^n ||x_i - \mu - \mathbf{V}_q \lambda_i||^2$$

cho matrix với các cột trực giao và . Điều này cho phép các bậc tốt nhất q -reconstruction được đo bằng tiên đề Ơclit, và các cột của giải pháp là người đầu tiên q vectơ thành phần chính.$p \times q$$\mathbf{V}_q$$\lambda_i \in \mathbb{R}^q$$\mathbf{V}_q$

Đối với cố định , giải pháp cho và (đây là hồi quy) là $\mathbf{V}_q$$\mu$$\lambda_i$

$$\mu = \overline{x} = \frac{1}{n}\sum_{i=1}^n x_i \qquad \lambda_i = \mathbf{V}_q^T(x_i - \overline{x})$$

Để dễ ghi chú, giả sử rằng đã được căn giữa trong các tính toán sau. Sau đó chúng ta phải giảm thiểu $x_i$

$$\sum_{i=1}^n ||x_i - \mathbf{V}_q\mathbf{V}_q^T x_i||^2$$

trên với các cột trực giao. Lưu ý rằng là hình chiếu lên không gian cột q chiều. Do đó, vấn đề tương đương với việc giảm thiểu trên bậc q dự báo . Nghĩa là, chúng ta cần tối đa hóa trên xếp hạng q dự đoán , trong đó là ma trận hiệp phương thức mẫu. Hiện nay$\mathbf{V}_q$$P = \mathbf{V}_q\mathbf{V}_q^T$

$$\sum_{i=1}^n ||x_i - P x_i||^2 = \sum_{i=1}^n ||x_i||^2 - \sum_{i=1}^n||Px_i||^2$$ $P$ $$\sum_{i=1}^n||Px_i||^2 = \sum_{i=1}^n x_i^TPx_i = \text{tr}(P \sum_{i=1}^n x_i x_i^T) = n \text{tr}(P \mathbf{S})$$ $P$$\mathbf{S}$ $$\text{tr}(P\mathbf{S}) = \text{tr}(\mathbf{V}_q^T\mathbf{S}\mathbf{V}_q) = \sum_{i=1}^q u_i^T \mathbf{S} u_i$$ trong đó là các cột (trực giao) trong và các đối số được trình bày trong câu trả lời của @ cardinal cho thấy mức tối đa đạt được bằng cách lấy ' s là eigenvector cho với giá trị riêng lớn nhất.$u_1, \ldots, u_q$$q$$\mathbf{V}_q$$u_i$$q$$\mathbf{S}$$q$

Lỗi tái cấu trúc cho thấy một số khái quát hóa hữu ích, ví dụ như các thành phần chính thưa thớt hoặc tái cấu trúc bởi các đa tạp chiều thấp thay vì hyperplanes. Để biết chi tiết, xem Phần 14,5 trong Các yếu tố của học thống kê .

Xem NIPALS ( wiki ) để biết một thuật toán không sử dụng phân tách ma trận rõ ràng. Tôi cho rằng đó là những gì bạn muốn nói khi bạn nói rằng bạn muốn tránh đại số ma trận vì bạn thực sự không thể tránh đại số ma trận ở đây :)