PCA không ổn định dưới đa cộng đồng?

Tôi biết rằng trong một tình huống hồi quy, nếu bạn có một tập hợp các biến có tương quan cao thì điều này thường là "xấu" vì sự không ổn định trong các hệ số ước tính (phương sai đi về vô cực khi định thức đi về 0).

Câu hỏi của tôi là liệu "tính xấu" này có tồn tại trong tình huống PCA hay không. Các hệ số / tải trọng / trọng số / hàm riêng cho bất kỳ PC cụ thể nào trở nên không ổn định / tùy ý / không duy nhất khi ma trận hiệp phương sai trở thành số ít? Tôi đặc biệt quan tâm đến trường hợp chỉ giữ lại thành phần chính đầu tiên và tất cả các thành phần khác bị loại bỏ là "tiếng ồn" hoặc "thứ gì khác" hoặc "không quan trọng".

Tôi không nghĩ rằng nó như vậy, bởi vì bạn sẽ chỉ còn lại một vài thành phần chính có 0 hoặc gần với phương sai bằng không.

Dễ thấy đây không phải là trường hợp cực kỳ đơn giản với 2 biến - giả sử chúng có mối tương quan hoàn hảo. Sau đó, PC đầu tiên sẽ là mối quan hệ tuyến tính chính xác và PC thứ hai sẽ vuông góc với PC đầu tiên, với tất cả các giá trị PC bằng 0 cho tất cả các quan sát (tức là phương sai bằng 0). Tự hỏi nếu nó chung chung hơn.

Câu trả lời có thể được đưa ra theo các thuật ngữ thậm chí đơn giản hơn: hồi quy bội có một bước so với pca nếu nhìn theo đại số tuyến tính và từ bước thứ hai , sự bất ổn xuất hiện:

Bước đầu tiên của pca và mult. hồi quy có thể được coi là bao thanh toán của ma trận tương quan thành hai yếu tố hợp lý , đó là hình tam giác - và khác biệt với tương quan thấp hoặc cao. (Pca sau đó có thể được xem như là một phép quay của yếu tố cholesky (hình tam giác) đó đến vị trí pc (cái này được gọi là xoay Jacobi theo như tôi nhớ) $R$$L \cdot L^t$

Đa. thủ tục hồi quy là áp dụng nghịch đảo của yếu tố cholesky trừ đi hàng và cột của biến phụ thuộc, thuận tiện trong hàng cuối cùng của ma trận tương quan. Sự không ổn định xuất hiện ở đây: nếu các biến độc lập có tương quan cao, thì đường chéo của yếu tố cholesky có thể suy biến thành các giá trị số rất nhỏ - và đảo ngược lại đưa ra vấn đề chia gần như bằng không.$L$
$L$

PCA thường là một phương tiện để kết thúc; dẫn đến một trong hai đầu vào cho một hồi quy bội hoặc để sử dụng trong phân tích cụm. Tôi nghĩ trong trường hợp của bạn, bạn đang nói về việc sử dụng kết quả của PCA để thực hiện hồi quy.

Trong trường hợp đó, mục tiêu của bạn khi thực hiện PCA là loại bỏ mulitcollinearity và nhận đầu vào trực giao cho hồi quy bội, không ngạc nhiên khi đây được gọi là Hồi quy thành phần chính. Ở đây, nếu tất cả các đầu vào ban đầu của bạn là trực giao thì việc thực hiện PCA sẽ cung cấp cho bạn một bộ đầu vào trực giao khác. Vì thế; nếu bạn đang làm PCA, người ta sẽ cho rằng đầu vào của bạn có tính đa hình.

Với những điều trên, bạn sẽ muốn làm PCA để có được một vài biến đầu vào từ một vấn đề có một số đầu vào. Để xác định có bao nhiêu trong số các biến trực giao mới mà bạn nên giữ lại, một biểu đồ scree thường được sử dụng (Johnson & Wicotta, 2001, p. 445). Nếu bạn có số lượng quan sát lớn, thì bạn cũng có thể sử dụng quy tắc ngón tay cái với làm giá trị riêng ước tính lớn nhất của chỉ sử dụng tối đa và bao gồm các giá trị đó trong đó lớn hơn hoặc bằng một (Johnson & Wicotta, 2001, p. 451).$\hat{ \lambda_{i} }$$i^{th}$$\frac{ \hat{ \lambda_{i} } }{p}$

Tài liệu tham khảo

Johnson & Wicéc (2001). Phân tích thống kê đa biến ứng dụng (Phiên bản thứ 6). Hội trường Prentice.