Các giải pháp PCA là duy nhất?

12

Khi tôi chạy PCA trên một tập dữ liệu nhất định, giải pháp được cung cấp cho tôi có phải là duy nhất không?

Tức là tôi có được một tập hợp tọa độ 2d, dựa trên khoảng cách điểm. Có thể tìm thấy ít nhất một sự sắp xếp các điểm sẽ đáp ứng các ràng buộc này không?

Nếu câu trả lời là có, làm thế nào tôi có thể tìm ra giải pháp khác nhau như vậy?

pca

— raygozag
nguồn

11

Câu trả lời cho câu hỏi duy nhất là có và không. Đó là "có" theo nghĩa là các không gian và giá trị bản địa được xác định tốt về mặt toán học và duy nhất. Theo nghĩa "không" có nghĩa là (a) có nhiều cách để biểu diễn các eigenspaces đó (thậm chí một eigenvector bình thường hóa có thể bị phủ định và có nhiều lựa chọn cơ sở cho thoái hóa eigenspaces) và (b) các thuật toán khác nhau có thể tạo ra kết quả khác nhau do tích lũy sai số dấu phẩy động trong tính toán.

— whuber

Ramsay và Silverman trong cuốn sách "Phân tích dữ liệu điểm", đề cập đến xoay vòng VARIMAX. Thy nói về việc chia một tập dữ liệu các hàm (được biểu diễn dưới dạng ma trận) thành các thành phần chính của nó.

— sức mạnh

Có vẻ như bạn muốn sử dụng PCA như một công cụ để giảm kích thước. Bạn có thể bắt đầu bằng cách xem xét Giảm kích thước ...

— Elvis

7

Không, câu trả lời không phải là duy nhất. Có nhiều cách để thể hiện điều này. Một khả năng là thông báo rằng phân hủy quang phổ của một hình vuông bởi ma trận là giải pháp cho các tối đa hóa của một hàm lồi của . Xem xét giá trị eigen-vector / giá trị đầu tiên: $p$ $p$ $X$ $w$

λ_{1} = max_{w \in R^{p} : | | w | | = 1} w^{'} X w

$\lambda_1=\underset{w\in\mathbb{R}^{p}:||w||=1}{\max} w'Xw$

(nơi là lần đầu tiên eigen-giá trị và người đầu tiên eigen vector). $\lambda_1$ $w^*$

Giải pháp cho các vấn đề như vậy (ví dụ: các giá trị của đạt mức tối đa đó), nói chung, không phải là duy nhất. $w$

Tuy nhiên, các thuật toán để tính toán các giải pháp này mang tính xác định, có nghĩa là tiết kiệm cho các trường hợp góc số, các giải pháp bạn nhận được phải giống nhau.

Ví dụ về các trường hợp góc số như vậy: các trường hợp trong đó một số giá trị riêng (bằng số) giống nhau, các trường hợp bị thiếu thứ hạng ... $X$

— người dùng603
nguồn

7

$\mathbf{w}$ $n$ $-\mathbf{w}$ $n$

— Cam.Davidson.Pilon
nguồn

3

Đối với một ứng dụng thực tế thú vị của sự không rõ ràng này, vui lòng xem số liệu thống kê.stackexchange.com/questions 432394 . (BTW, sự đảo ngược dấu hiệu đã được chú ý: xem bình luận đầu tiên cho câu hỏi này.)

— whuber