Kỹ thuật không trực giao tương tự PCA

Giả sử tôi có bộ dữ liệu điểm 2D và tôi muốn phát hiện hướng của tất cả các phương sai cực đại cục bộ trong dữ liệu, ví dụ:

PCA không giúp ích gì trong tình huống này vì đây là sự phân rã trực giao và do đó không thể phát hiện cả hai dòng tôi chỉ ra màu xanh lam, thay vào đó, đầu ra của nó có thể trông giống như dòng được hiển thị bằng các đường màu xanh lá cây.

Vui lòng giới thiệu bất kỳ kỹ thuật nào có thể phù hợp cho mục đích này. Cảm ơn.

Phân tích thành phần độc lập sẽ có thể cung cấp cho bạn giải pháp tốt. Nó có thể phân hủy các thành phần không trực giao (như trong trường hợp của bạn) bằng cách giả sử rằng các phép đo của bạn là kết quả của một hỗn hợp các biến độc lập thống kê.

Có rất nhiều hướng dẫn tốt trên Internet và bỏ qua một vài triển khai có sẵn miễn phí để thử (ví dụ như trong scikit hoặc MDP ).

Khi nào ICA không hoạt động?

Như các thuật toán khác, ICA là tối ưu khi các giả định được áp dụng. Cụ thể,

1. nguồn độc lập thống kê
2. các thành phần độc lập là không phải Gaussian
3. ma trận trộn là không thể đảo ngược

ICA trả về một ước tính của ma trận trộn và các thành phần độc lập.

$x_{1}$$x_{2}$$N(0,I)$

$||.||$$R$$||R\mathbf{x}|| = ||\mathbf{x}||$

Có các thủ tục giống như PCA cho trường hợp được gọi là "xiên". Trong phần mềm thống kê như SPSS (và có thể cả trong bản sao phần mềm miễn phí) PSPP, người ta tìm thấy "xoay xiên" tương đương, và các trường hợp của chúng có tên là "oblimin", "promax" và một cái gì đó nữa. Nếu tôi hiểu chính xác mọi thứ, phần mềm sẽ cố gắng "hình chữ hóa" các hệ số tải bằng cách tính lại tọa độ của chúng trong một không gian trực giao, euclide (ví dụ như trong hình của bạn) thành tọa độ của một không gian có trục không trực giao với một số kỹ thuật được biết đến từ hồi quy bội. Hơn nữa, tôi nghĩ rằng điều này chỉ hoạt động lặp đi lặp lại và tiêu thụ một hoặc nhiều mức độ tự do trong thử nghiệm thống kê của mô hình.

PCA so sánh và xoay xiên
Các tài liệu tham khảo thủ công của SPSS (tại IBM-site) cho xiên-quay chứa công thức ngay cả đối với việc tính toán.

[Cập nhật] (Upps, xin lỗi, chỉ cần kiểm tra rằng PSPP không cung cấp "phép quay" của kiểu xiên)

Tôi không có nhiều kinh nghiệm với nó, nhưng PCA tổng quát của Vidal, Ma và Sastry đã được tạo ra cho một vấn đề rất giống nhau.

Các câu trả lời khác đã đưa ra một số gợi ý hữu ích về các kỹ thuật bạn có thể xem xét, nhưng dường như không ai chỉ ra rằng giả định của bạn là sai: các dòng hiển thị màu xanh lam trên hình ảnh sơ đồ của bạn KHÔNG phải là cực đại cục bộ của phương sai.

$\mathbf{w}$$\mathbf{w}^\top\mathbf{\Sigma}\mathbf{w}$$\mathbf{\Sigma}$$\mathbf{w}$$\lambda(\mathbf{w}^\top\mathbf{w}-1)$$\lambda$

$\mathbf{w}$