Là tối ưu hóa PCA lồi?

Hàm mục tiêu của Phân tích thành phần chính (PCA) là giảm thiểu lỗi tái cấu trúc trong định mức L2 (xem phần 2.12 ở đây . Một quan điểm khác đang cố gắng tối đa hóa phương sai trên phép chiếu. Chúng tôi cũng có một bài viết xuất sắc ở đây: Hàm mục tiêu của PCA là gì ? ).

Câu hỏi của tôi là lồi tối ưu hóa PCA? (Tôi đã tìm thấy một số cuộc thảo luận ở đây , nhưng mong muốn ai đó có thể cung cấp một bằng chứng tốt đẹp ở đây trên CV).

Không, các công thức thông thường của PCA không phải là vấn đề lồi. Nhưng chúng có thể được chuyển thành một vấn đề tối ưu hóa lồi.

Cái nhìn sâu sắc và thú vị của điều này là theo dõi và hình dung ra chuỗi biến đổi thay vì chỉ nhận được câu trả lời: nó nằm trong hành trình chứ không phải đích đến. Các bước chính trong hành trình này là

1. Có được một biểu thức đơn giản cho hàm mục tiêu.

2. Phóng to miền của nó, không lồi, thành một miền.

3. Sửa đổi mục tiêu, không lồi, thành một mục tiêu, theo cách rõ ràng không thay đổi các điểm mà tại đó nó đạt được các giá trị tối ưu của nó.

Nếu bạn theo dõi chặt chẽ, bạn có thể thấy các số nhân SVD và Lagrange đang ẩn nấp - nhưng chúng chỉ là một màn trình diễn, ở đó để ngắm cảnh và tôi sẽ không bình luận gì thêm về chúng.

---

Công thức tối đa hóa phương sai tối đa của PCA (hoặc ít nhất là bước quan trọng của nó) là

$$\text{Maximize }f(x)=\ x^\prime \mathbb{A} x\ \text{ subject to }\ x^\prime x=1\tag{*}$$

nơi ma trận $n\times n$$\mathbb A$ là một đối xứng, tích cực-semidefinite ma trận được xây dựng từ các dữ liệu (thường là số tiền của hình vuông và các sản phẩm ma trận, ma trận hiệp phương sai của nó, hoặc ma trận tương quan của nó).

(Tương tự, chúng ta có thể cố gắng phát huy tối đa mục tiêu không bị giới hạn Đây không chỉ là một biểu hiện nastier -. Nó không còn là một hàm bậc hai - nhưng vẽ đồ trường hợp đặc biệt sẽ nhanh chóng hiển thị nó không phải là một hàm lồi , một trong hai. Thông thường người ta quan sát chức năng này là bất biến dưới rescalings x → bước sóng x và sau đó giảm nó vào việc xây dựng bó buộc ( * ) .)$x^\prime \mathbb{A} x / x^\prime x$$x\to \lambda x$$(*)$

Bất kỳ vấn đề tối ưu hóa có thể được xây dựng một cách trừu tượng như

Tìm ít nhất một làm cho hàm f : X → R càng lớn càng tốt.$x\in\mathcal{X}$$f:\mathcal{X}\to\mathbb{R}$

Hãy nhớ lại rằng một vấn đề tối ưu hóa là lồi khi nó có hai thuộc tính riêng biệt:

1. Các miền là lồi. $\mathcal{X}\subset\mathbb{R}^n$ Điều này có thể được xây dựng theo nhiều cách. Thứ nhất là bất cứ khi nào và y ∈ X và 0 ≤ λ ≤ 1 , λ x + ( 1 - λ ) y ∈ X cũng có. Về mặt hình học: bất cứ khi nào hai điểm cuối của một đoạn thẳng nằm trong X , toàn bộ đoạn nằm ở $x\in\mathcal{X}$$y\in\mathcal{X}$$0 \le \lambda \le 1$$\lambda x + (1-\lambda)y\in\mathcal{X}$$\mathcal X$$\mathcal X$ .

2. Các chức năng là lồi. $f$ Điều này cũng có thể được xây dựng theo nhiều cách. Thứ nhất là bất cứ khi nào và y ∈ X và 0 ≤ λ ≤ 1 , f ( λ x + ( 1 - λ ) y ) ≥ λ f ( x ) + ( 1 - λ ) f ( y ) . (Chúng tôi cần $x\in\mathcal{X}$$y\in\mathcal{X}$$0 \le \lambda \le 1$

   $$f(\lambda x + (1-\lambda)y) \ge \lambda f(x) + (1-\lambda) f(y).$$ $\mathcal X$phải lồi để điều kiện này có ý nghĩa.) Về mặt hình học: bất cứ khi nào là bất kỳ đoạn thẳng nào trong X , đồ thị của f (như bị giới hạn trong đoạn này) nằm ở trên hoặc trên đoạn kết nối ( x , f ( x ) ) và ( y , f ( y ) ) trong R n + $\bar{xy}$$\mathcal X$$f$$(x,f(x))$$(y,f(y))$$\mathbb{R}^{n+1}$ .

   Kiểu nguyên mẫu của hàm lồi nằm ở mọi vị trí parabol với hệ số dẫn không dương: trên bất kỳ đoạn thẳng nào, nó có thể được biểu thị dưới dạng với a ≤ $y\to a y^2 + b y + c$$a \le 0.$

Một khó khăn với là X là đơn vị cầu S n - 1 ⊂ R n , mà là decidedly không lồi. $(*)$$\mathcal X$$S^{n-1}\subset\mathbb{R}^n$ Tuy nhiên, chúng ta có thể sửa đổi vấn đề này bằng cách bao gồm các vectơ nhỏ hơn. Đó là bởi vì khi chúng ta mở rộng theo hệ λ , f được nhân với λ 2 . Khi 0 < x ' x < 1 , chúng ta có thể mở rộng x lên đến đơn vị chiều dài bằng cách nhân nó bằng λ = 1 / $x$$\lambda$$f$$\lambda^2$$0 \lt x^\prime x \lt 1$$x$, do đó tăngfnhưng ở trong đơn vị bóngDn={x∈ R n|x'x≤1}. Do đó, chúng ta hãy định dạng lại(∗)như$\lambda=1/\sqrt{x^\prime x} \gt 1$$f$ $D^n = \{x\in\mathbb{R}^n\mid x^\prime x \le 1\}$$(*)$

$$\text{Maximize }f(x)=\ x^\prime \mathbb{A} x\ \text{ subject to }\ x^\prime x\le1\tag{**}$$

Miền của nó là rõ ràng là lồi, vì vậy chúng ta đang ở giữa chừng. Vẫn còn phải xem xét độ lồi của đồ thị f .$\mathcal{X}=D^n$$f$

Cách tốt nhất để nghĩ về vấn đề này --even nếu bạn không có ý định để thực hiện các tính toán tương ứng - là trong điều khoản của Spectral lý. $(**)$ Nó nói rằng bằng phương pháp biến đổi trực giao , bạn có thể tìm thấy ít nhất một cơ sở của R n trong đó A là đường chéo: đó là,$\mathbb P$$\mathbb{R}^n$$\mathbb A$

$$\mathbb {A = P^\prime \Sigma P}$$

trong đó tất cả các mục ngoài đường chéo của bằng không. Sự lựa chọn P như vậy có thể được coi là không thay đổi gì cả về A , mà chỉ thay đổi cách bạn mô tả nó : khi bạn xoay quan điểm của mình, các trục của các siêu phẳng cấp của hàm x → x ′ A$\Sigma$$\mathbb{P}$$\mathbb A$$x\to x^\prime \mathbb{A} x$ (mà luôn luôn là ellipsoids) thẳng hàng với các trục tọa độ.

Kể từ là dương-semidefinite, tất cả các mục đường chéo của Σ phải không âm. Chúng tôi có thể hoán vị hơn nữa các trục (mà chỉ là một sự biến đổi trực giao, và do đó có thể được hấp thụ vào P ) để đảm bảo rằng σ 1 ≥ σ 2 ≥ ⋯ ≥ σ n ≥ $\mathbb A$$\Sigma$$\mathbb P$

$$\sigma_1 \ge \sigma_2 \ge \cdots \ge \sigma_n \ge 0.$$

Nếu chúng ta để cho là tọa độ mới x (kéo theo những y = P x ), hàm f là$x=\mathbb{P}^\prime y$$x$$y=\mathbb{P}x$$f$

$$f(y) = y^\prime \mathbb{A} y = x^\prime \mathbb{P^\prime A P} x = x^\prime \Sigma x = \sigma_1 x_1^2 + \sigma_2 x_2^2 + \cdots + \sigma_n x_n^2.$$

Chức năng này được quyết định không lồi! Nó nhìn đồ thị như một phần của một hyperparaboloid: tại tất cả các điểm trong nội thất của , thực tế là tất cả các σ i là làm cho âm nó curl lên chứ không giảm$\mathcal X$$\sigma_i$ .

Tuy nhiên, chúng ta có thể biến vào một vấn đề lồi với một kỹ thuật rất hữu ích. $(**)$ Biết rằng tối đa sẽ xảy ra nơi , chúng ta hãy trừ hằng số σ 1 từ f , ít nhất là cho điểm trên ranh giới của X . Điều đó sẽ không thay đổi vị trí của bất kỳ điểm nào trên ranh giới mà tại đó f được tối ưu hóa, bởi vì nó làm giảm tất cả các giá trị của f trên đường biên bằng cùng một giá trị σ 1 . Điều này gợi ý kiểm tra chức năng$x^\prime x = 1$$\sigma_1$$f$$\mathcal{X}$$f$$f$$\sigma_1$

$$g(y) = f(y) - \sigma_1 y^\prime y.$$

Điều này thực sự trừ hằng số từ f tại các điểm ranh giới, và trừ giá trị nhỏ hơn tại các điểm nội thất. Điều này sẽ đảm bảo rằng g , so với f , không có cực đại toàn cầu mới về nội thất của X .$\sigma_1$$f$$g$$f$$\mathcal X$

Hãy xem xét những gì đã xảy ra với sự thay thế hoàn hảo này by - σ 1 y ′ y . Vì P là trực giao nên y ′ y = x ′ x . (Đó thực tế là định nghĩa của phép biến đổi trực giao.) Do đó, về mặt tọa độ x , g có thể được viết$-\sigma_1$$-\sigma_1 y^\prime y$$\mathbb P$$y^\prime y = x^\prime x$$x$$g$

$$g(y) = \sigma_1 x_1 ^2 + \cdots + \sigma_n x_n^2 - \sigma_1(x_1^2 + \cdots + x_n^2) = (\sigma_2-\sigma_1)x_2^2 + \cdots + (\sigma_n - \sigma_1)x_n^2.$$

Bởi vì cho tất cả i , mỗi người trong số các hệ số là số không hay tiêu cực. Do đó, (a) g là lồi và (b) g được tối ưu hóa khi x 2 = x 3 = ⋯ = x n = 0 . ( x ′ x = 1 sau đó ngụ ý x 1 = ± 1 và mức tối ưu đạt được khi y = P ( ± 1 , 0 $\sigma_1 \ge \sigma_i$$i$$g$$g$$x_2=x_3=\cdots=x_n=0$$x^\prime x=1$$x_1=\pm 1$ , đó là - lên đến dấu - cột đầu tiên của P .)$y = \mathbb{P} (\pm 1,0,\ldots, 0)^\prime$$\mathbb P$

Chúng ta hãy tóm tắt lại logic. Vì được tối ưu hóa trên ranh giới ∂ D n = S n - 1 trong đó y ′ y = 1 , vì f khác với g chỉ bởi hằng số σ 1 trên ranh giới đó và vì các giá trị của g thậm chí gần với các giá trị của f ở bên trong D n , cực đại của f phải trùng với cực đại của g .$g$$\partial D^n=S^{n-1}$$y^\prime y = 1$$f$$g$$\sigma_1$$g$$f$$D^n$$f$$g$

No.

Rank $k$ PCA of matrix $M$ can be formulated as

$\hat{X} = \underset{rank(X) \leq k}{argmin} \| M - X\|_F^2$

($\|\cdot\|_F$ is Frobenius norm). For derivation see Eckart-Young theorem.

Though the norm is convex, the set over which it is optimized is nonconvex.

---

A convex relaxation of PCA's problem is called Convex Low Rank Approximation

$\hat{X} = \underset{\|X\|_* \leq c}{argmin} \| M - X\|_F^2$

($\|\cdot\|_*$ is nuclear norm. it's convex relaxation of rank - just like $\|\cdot\|_1$ is convex relaxation of number of nonzero elements for vectors)

You can see Statistical Learning with Sparsity, ch 6 (matrix decompositions) for details.

If you're interested in more general problems and how they relate to convexity, see Generalized Low Rank Models.

Disclaimer: The previous answers do a pretty good job of explaining how PCA in its original formulation is non-convex but can be converted to a convex optimization problem. My answer is only meant for those poor souls (such as me) who are not so familiar with the jargon of Unit Spheres and SVDs - which is, btw, good to know.

My source is this lecture notes by Prof. Tibshirani

For an optimization problem to be solved with convex optimization techniques, there are two prerequisites.

1. The objective function has to be convex.
2. The constraint functions should also be convex.

Most formulations of PCA involve a constraint on the rank of a matrix.

In these type of PCA formulations, condition 2 is violated. Because, the constraint that $rank(X) = k,$ is not convex. For example, let $J_{11}$, $J_{22}$ be 2 × 2 zero matrices with a single 1 in the upper left corner and lower right corner respectively. Then, each of these have rank 1, but their average has rank 2.