Mối liên hệ giữa bình phương tối thiểu một phần, hồi quy xếp hạng giảm và hồi quy thành phần chính là gì?

Là giảm hồi quy xếp hạng và hồi quy thành phần chính chỉ là trường hợp đặc biệt của bình phương nhỏ nhất một phần?

Hướng dẫn này (Trang 6, "So sánh các mục tiêu") nói rằng khi chúng ta thực hiện bình phương tối thiểu một phần mà không chiếu X hoặc Y (nghĩa là "không phải một phần"), nó sẽ trở thành giảm hồi quy xếp hạng hoặc hồi quy thành phần chính.

Một tuyên bố tương tự được đưa ra trên trang tài liệu của SAS này , Phần "Giảm hồi quy thứ hạng" và "Mối quan hệ giữa các phương thức".

Một câu hỏi tiếp theo cơ bản hơn là liệu họ có các mô hình xác suất cơ bản tương tự hay không.

— Chồn
nguồn

Đây thực sự là một vấn đề quan trọng.

— Steve

@Steve. Cảm ơn. Xem ý kiến của tôi ở trên để giới thiệu chi tiết hơn.

— Minkov

Đây là ba phương pháp khác nhau và không có phương pháp nào có thể được xem là trường hợp đặc biệt của phương pháp khác.

Chính thức, nếu và là bộ dữ liệu dự đoán trung tâm ( ) và phản hồi ( ) và nếu chúng ta tìm cặp trục đầu tiên, cho và cho , thì các phương thức này tối đa hóa số lượng sau: $\mathbf X$ $\mathbf Y$ $n \times p$ $n\times q$ $\mathbf w \in \mathbb R^p$ $\mathbf X$ $\mathbf v \in \mathbb R^q$ $\mathbf Y$

\begin{aligned} P C A : & Var (X w) \\ R R R : & {Corr}^{2} (X w, Y v) \cdot Var (Y v) \\ P L S : & Var (X w) \cdot {Corr}^{2} (X w, Y v) \cdot Var (Y v) = {Cov}^{2} (X w, Y v) \\ C C A : & {Corr}^{2} (X w, Y v) \end{aligned}

$\begin{align} \mathrm{PCA:}&\quad \operatorname{Var}(\mathbf{Xw}) \\ \mathrm{RRR:}&\quad \phantom{\operatorname{Var}(\mathbf {Xw})\cdot{}}\operatorname{Corr}^2(\mathbf{Xw},\mathbf {Yv})\cdot\operatorname{Var}(\mathbf{Yv}) \\ \mathrm{PLS:}&\quad \operatorname{Var}(\mathbf{Xw})\cdot\operatorname{Corr}^2(\mathbf{Xw},\mathbf {Yv})\cdot\operatorname{Var}(\mathbf {Yv}) = \operatorname{Cov}^2(\mathbf{Xw},\mathbf {Yv})\\ \mathrm{CCA:}&\quad \phantom{\operatorname{Var}(\mathbf {Xw})\cdot {}}\operatorname{Corr}^2(\mathbf {Xw},\mathbf {Yv}) \end{align}$

(Tôi đã thêm phân tích tương quan chính tắc (CCA) vào danh sách này.)

Tôi nghi ngờ rằng sự nhầm lẫn có thể là do trong SAS cả ba phương thức dường như được thực hiện thông qua cùng một chức năng PROC PLSvới các tham số khác nhau. Vì vậy, có vẻ như cả ba phương pháp đều là trường hợp đặc biệt của PLS bởi vì đó là cách chức năng của SAS được đặt tên. Tuy nhiên, đây chỉ là một cách đặt tên không may. Trong thực tế, PLS, RRR và PCR là ba phương pháp khác nhau được thực hiện trong SAS theo một chức năng mà vì một lý do nào đó được gọi PLS.

Cả hai hướng dẫn mà bạn liên kết đến thực sự rất rõ ràng về điều đó. Trang 6 của hướng dẫn trình bày nêu các mục tiêu của cả ba phương pháp và không nói PLS "trở thành" RRR hoặc PCR, trái với những gì bạn đã tuyên bố trong câu hỏi của mình. Tương tự, tài liệu của SAS giải thích rằng ba phương pháp là khác nhau, đưa ra các công thức và trực giác:

Hồi quy thành phần rincipal chọn các yếu tố giải thích càng nhiều biến đổi dự báo càng tốt, hồi quy xếp hạng giảm chọn các yếu tố giải thích càng nhiều biến đổi phản ứng càng tốt và bình phương tối thiểu một phần cân bằng hai mục tiêu, tìm kiếm các yếu tố giải thích cả biến đổi phản ứng và biến đổi dự báo .

Thậm chí còn có một hình trong tài liệu của SAS cho thấy một ví dụ đồ chơi đẹp trong đó ba phương pháp đưa ra các giải pháp khác nhau. Trong ví dụ đồ chơi này có hai yếu tố dự đoán và và một biến trả lời $x_1$ $x_2$ $y$ . Hướng trong đó là tương quan nhất với sẽ xảy ra là trực giao với hướng sai tối đa trong . Do đó PC1 trực giao với trục RRR đầu tiên và trục PLS nằm ở giữa. $X$ $y$ $X$

Người ta có thể thêm một hình phạt sườn núi cho chức năng bị mất RRR có được hồi quy thứ hạng giảm dần, hoặc RRRR. Điều này sẽ kéo trục hồi quy theo hướng PC1, hơi giống với những gì PLS đang làm. Tuy nhiên, hàm chi phí cho RRRR không thể được viết dưới dạng PLS, vì vậy chúng vẫn khác nhau.

$y$

— amip nói phục hồi Monica
nguồn

Bảng ở cuối là rất hữu ích. Dựa trên bảng đó, người ta có thể coi PCA, RRR và CCA là "trường hợp đặc biệt" của PLS nếu bạn cũng nghĩ rằng xe đạp và xe đạp là trường hợp đặc biệt của xe ba bánh. Tôi không có xu hướng nghĩ như vậy.

— EdM

@EdM, tôi nghĩ người ta có thể nói rằng tất cả các phương thức này là trường hợp đặc biệt của một số phương thức hợp nhất không thực sự có tên (nhưng người ta có thể phát minh ra nó!). Nhưng tên "PLS" đã có nghĩa sẵn có và ý nghĩa này không bao gồm bất kỳ kỹ thuật nào khác.

— amip nói rằng Phục hồi lại

Và cảm ơn! Bây giờ tôi quyết định chuyển bàn đến đầu câu trả lời :)

— amip nói rằng Rebstate Monica

X

$X$

Y

$Y$

V a r (X w)^{α} \cdot C o r r (X w, Y v)^{β} \cdot V a r (Y v)^{γ}

$\mathrm{Var}(Xw)^\alpha\cdot \mathrm{Corr}(Xw,Yv)^\beta\cdot \mathrm{Var}(Yv)^\gamma$

— amip nói rằng Phục hồi lại

@Moskowitz: Nói chung, khi mọi người nói về phương pháp A là "trường hợp đặc biệt" của phương pháp B, họ có nghĩa là B tổng quát hơn và A tương đương với B với một số tham số cụ thể. Chúng không có nghĩa là A cho kết quả giống như B trong một số điều kiện đặc biệt trên tập dữ liệu. Do đó câu trả lời của tôi cho câu hỏi của bạn.

— amip nói Phục hồi lại