Tại sao PCA nhạy cảm với các ngoại lệ?

Có nhiều bài đăng trên SE này thảo luận về các cách tiếp cận mạnh mẽ để phân tích thành phần chính (PCA), nhưng tôi không thể tìm thấy một lời giải thích tốt về lý do tại sao PCA nhạy cảm với các ngoại lệ ở nơi đầu tiên.

machine-learning pca outliers

— Psi
nguồn

Bởi vì đóng góp định mức L2 là rất cao cho các ngoại lệ. Sau đó, khi tối thiểu hóa định mức L2 (đó là những gì PCA cố gắng thực hiện), những điểm đó sẽ khó kéo hơn để phù hợp hơn so với các điểm gần với ý muốn trung bình.

— mathreadler

Câu trả lời này cho bạn biết mọi thứ bạn cần. Chỉ cần hình ảnh một ngoại lệ và đọc chăm chú.

— S. Kolassa - Tái lập Monica

$L_2$ $Y$ $m$ $n$ $X$ $k$ $n$

‖ Y - X Một ‖_{F}^{2} = = Σ_{j = = 1}^{m} ‖ Y_{j} - X {Một}_{j .} ‖^{2}

$\lVert Y-XA \rVert^2_F = \sum_{j=1}^{m} \lVert Y_j - X A_{j.} \rVert^2$

A

$A$

‖ \cdot ‖_{F}

$\lVert \cdot \rVert_F$

Bởi vì PCA giảm thiểu các chỉ tiêu (tức là các chỉ tiêu bậc hai), nó có cùng một vấn đề bình phương nhỏ nhất hoặc phù hợp với một Gaussian bằng cách nhạy cảm với các ngoại lệ. Do bình phương sai lệch so với các ngoại lệ, chúng sẽ thống trị toàn bộ định mức và do đó sẽ điều khiển các thành phần PCA. $L_2$

— sega_sai
nguồn