Tối ưu hóa với các ràng buộc trực giao

Tôi đang làm việc về tầm nhìn máy tính và phải tối ưu hóa một chức năng khách quan liên quan đến ma trận $X$ và ma trận $X$ là một ma trận trực giao.

$$maximize \ \ f(X)$$

$$s.t \ \ X^T X=I$$ Ở đâu $I$là ma trận đơn vị. Tôi đang đọc một số bài báo và họ đã nói những thuật ngữ phức tạp như tối ưu hóa trên Manfiold của Grassman, Stiefel. Về cơ bản, độ dốc trên các đa tạp đó sẽ khác với độ dốc thông thường trên các không gian Euclide.

Bạn có thể đề xuất bất kỳ loại giấy dễ đọc nào để tôi có thể thực hiện phương pháp dựa trên độ dốc trên các đa tạp đó không. Nếu có bất kỳ ví dụ Matlab đơn giản nào minh họa các tài liệu sẽ hữu ích

Cảm ơn

Tôi thấy bài báo sau đây là hữu ích:

Edelman, A., Arias, TA, & Smith, ST (1998). Hình dạng của các thuật toán với các ràng buộc trực giao . Tạp chí SIAM về Phân tích và Ứng dụng Ma trận, 20 (2), 303-353.

Bài viết này có nhiều thông tin hơn bạn có thể cần, về mặt hình học vi phân và phương pháp tối ưu hóa bậc cao.

Tuy nhiên, thông tin để trả lời câu hỏi của bạn thực sự khá đơn giản và trên thực tế chủ yếu chứa trong các phương trình 2.53 và 2.70, cả hai đều có dạng

$$\nabla{f}=G-X\Phi$$ nơi gradient danh nghĩa $$G=\frac{\partial{f}}{\partial{X}}$$ được sửa thành gradient bị ràng buộc $\nabla{f}$ bằng cách trừ đi hình chiếu của nó $\Phi$ vào giải pháp hiện tại $X$. Đây là giá trị bình thường của đa tạp, tương tự như chuyển động tròn và đảm bảo độ dốc được điều chỉnh tiếp tuyến với đa tạp.

Lưu ý: Những công thức này giả sử bạn đã có trên đa tạp, tức là$X^TX=I$. Vì vậy, trong thực tế, bạn sẽ cần đảm bảo điều kiện ban đầu của mình là phù hợp (ví dụ:$X_0=I$, hình chữ nhật có thể). Thỉnh thoảng, bạn cũng có thể cần sửa lỗi tích lũy và / hoặc lỗi cắt ngắn tích lũy (ví dụ: thông qua SVD, xem ví dụ "ZCA" bên dưới).

Trong trường hợp không ràng buộc, $\Phi=0$, trong khi trong trường hợp bị ràng buộc $\Phi$ có hai hình thức:

$$\Phi_{\mathrm{\small{G}}}=X^TG\implies\nabla_{\mathrm{\small{G}}}{f}=\left(I-XX^T\right)G$$ tương ứng với "đa tạp Grassmann". Sự khác biệt ở đây là$\nabla_{\mathrm{\small{G}}}$không nhạy cảm với các phép quay , vì đối với một vòng quay$Q^TQ=I$ và $X=X_0Q$, chúng ta có $XX^T=X_0X_0^T$.

Hình thức thứ hai là

$$\Phi_{\mathrm{\small{S}}}=G^TX\implies\nabla_{\mathrm{\small{S}}}{f}=G-XG^TX$$ mà tương ứng với "Stiefel Manifold", và là nhạy cảm với phép quay.

Một ví dụ đơn giản là xấp xỉ ma trận đã cho $A\in\mathbb{R}^{n\times{p}}$ với $p\leq{n}$ bởi một ma trận trực giao $X$, giảm thiểu các lỗi bình phương nhỏ nhất. Trong trường hợp này, chúng tôi có

$$f[X]=\tfrac{1}{2}\|X-A\|_F^2=\tfrac{1}{2}\sum_{ij}\left(X_{ij}-A_{ij}\right)^2\implies{G}=X-A$$ Các không bị giới hạn trường hợp có giải pháp , bởi vì chúng ta không quan tâm đến việc đảm bảo là trực giao.$\nabla{f}=G$$X=A$$X$

Đối với trường hợp Grassmann, chúng ta có Điều này chỉ có thể có một giải pháp là vuông chứ không phải "gầy" , bởi vì nếu thì sẽ có một khoảng trống .

$$\nabla_{\mathrm{\small{G}}}{f}=\left(XX^T-I\right)A=0$$ $A$$p<n$$X$

Đối với trường hợp Stiefel, chúng ta có có thể được giải quyết ngay cả khi .

$$\nabla_{\mathrm{\small{S}}}{f}=XA^TX-A=0$$ $p<n$

Hai trường hợp này, Grassmann vs Stiefel, về cơ bản tương ứng với sự khác biệt giữa " PCA so với ZCA làm trắng ". Về mặt SVD , nếu ma trận đầu vào là , thì các giải pháp là và . Giải pháp PCA$A=USV^T$$X_{\mathrm{\small{G}}}=U$$X_{\mathrm{\small{S}}}=UV^T$$X_{\mathrm{\small{G}}}$ chỉ áp dụng cho đầu vào vuông, tức là $A$phải là " ma trận hiệp phương sai ". Tuy nhiên, giải pháp ZCA$X_{\mathrm{\small{S}}}$ có thể được sử dụng khi $A$là một " ma trận dữ liệu ". (Điều này được gọi đúng hơn là vấn đề Procrustes trực giao .)