Tại sao tất cả các thành phần PLS cùng nhau chỉ giải thích một phần của phương sai của dữ liệu gốc?

Tôi có một bộ dữ liệu bao gồm 10 biến. Tôi đã chạy bình phương tối thiểu một phần (PLS) để dự đoán một biến trả lời duy nhất theo 10 biến này, trích xuất 10 thành phần PLS và sau đó tính toán phương sai của từng thành phần. Trên dữ liệu gốc, tôi lấy tổng phương sai của tất cả các biến là 702.

Sau đó, tôi chia phương sai của từng thành phần PLS cho tổng này để lấy phần trăm phương sai được PLS giải thích, và đáng ngạc nhiên là tất cả các thành phần cùng nhau chỉ giải thích 44% phương sai ban đầu.

Giải thích về điều đó là gì? Không phải là 100% sao?

Tổng phương sai của tất cả các thành phần PLS thường nhỏ hơn 100%.

Có nhiều biến thể của bình phương nhỏ nhất một phần (PLS). Những gì bạn đã sử dụng ở đây, là hồi quy PLS của một biến trả lời đơn biến vào một số biến ; thuật toán này theo truyền thống được gọi là PLS1 (trái ngược với các biến thể khác, xem Rosipal & Kramer, 2006, Tổng quan và những tiến bộ gần đây trong bình phương tối thiểu để biết tổng quan ngắn gọn). PLS1 sau đó đã được hiển thị tương đương với một công thức thanh lịch hơn được gọi là SIMPLS (xem tài liệu tham khảo về Jong 1988 được trả tiền trong Rosipal & Kramer). Chế độ xem được cung cấp bởi SIMPLS giúp hiểu những gì đang diễn ra trong PLS1.$\mathbf y$$\mathbf X$

Nó chỉ ra rằng những gì PLS1 làm, là tìm một chuỗi các phép chiếu tuyến tính , sao cho:$\mathbf t_i = \mathbf X \mathbf w_i$

1. Hiệp phương sai giữa và là tối đa;$\mathbf y$$\mathbf t_i$
2. Tất cả các vectơ trọng lượng có chiều dài đơn vị, ;$\|\mathbf w_i\|=1$
3. Bất kỳ hai thành phần PLS nào (còn gọi là vectơ điểm) và đều không tương thích.$\mathbf t_i$$\mathbf t_j$

Lưu ý rằng vectơ trọng lượng không phải (và không) trực giao.

Điều này có nghĩa là nếu bao gồm biến và bạn đã tìm thấy thành phần PLS, thì bạn đã tìm thấy một cơ sở không trực giao với các phép chiếu không tương quan trên các vectơ cơ sở. Một mặt toán học có thể chứng minh rằng trong một tình huống như vậy tổng của chênh lệch của tất cả các dự báo sẽ ít thì tổng phương sai của . Chúng sẽ bằng nhau nếu các vectơ trọng lượng là trực giao (ví dụ như trong PCA), nhưng trong PLS thì không phải như vậy.$\mathbf X$$k=10$$10$$\mathbf X$

Tôi không biết về bất kỳ sách giáo khoa hay bài báo nào thảo luận rõ ràng về vấn đề này, nhưng trước đó tôi đã giải thích nó trong bối cảnh phân tích phân biệt tuyến tính (LDA) cũng đưa ra một số dự đoán không tương quan về các vectơ trọng lượng đơn vị không trực giao, xem tại đây : Tỷ lệ phương sai được giải thích trong PCA và LDA .