Hồi quy giảm cấp bậc là gì?

Tôi đã đọc các yếu tố của học thống kê và tôi không thể hiểu Mục 3.7 "Thu hẹp và lựa chọn nhiều kết quả" là gì. Nó nói về RRR (hồi quy thứ hạng giảm) và tôi chỉ có thể hiểu rằng tiền đề là về một mô hình tuyến tính đa biến tổng quát trong đó các hệ số không xác định (và được ước tính) nhưng được biết là không có thứ hạng đầy đủ. Đó là điều duy nhất tôi hiểu.

Phần còn lại của toán học là ngoài tôi. Nó thậm chí không giúp các tác giả nói 'người ta có thể hiển thị' và để mọi thứ như một bài tập.

Ai đó có thể vui lòng giúp giải thích những gì đang xảy ra ở đây, bằng trực giác? Chương này được cho là thảo luận về các phương pháp mới? hay cái gì?

— cái tôi
nguồn

Nó dường như đưa ra các phương pháp hồi quy tận dụng các mô hình đa kết quả trong bối cảnh thu hẹp và lựa chọn biến. Không có một kết quả Y nào, mà nhiều hơn một kết quả Y. Giả sử bạn có 5 kết quả Y, sau đó phần này thảo luận về các phương pháp để tập hợp ước tính của các phương thức, thay vì chỉ xây dựng 5 mô hình riêng biệt.

— spdrnl

Vài xu của tôi: giả định về ma trận thứ hạng thấp làm cho mọi thứ đơn giản hơn. May mắn là giả định này đúng với nhiều nguồn dữ liệu trong thế giới thực.

— Vladislavs Dovgalecs

Có vẻ như giả định này là về việc hạn chế giải pháp. Bài viết này mô tả lý do tại sao statprob.com/encyclopedia/ Mạnh

— Vladislavs Dovgalecs

1. Hồi quy thứ hạng giảm (RRR) là gì?

Xem xét đa biến hồi quy tuyến tính, tức là hồi quy với các biến độc lập và biến phụ thuộc. Đặt và là bộ dự báo trung tâm ( ) và bộ dữ liệu phản hồi ( ). Sau đó, hồi quy bình phương nhỏ nhất bình phương (OLS) có thể được xác định là tối thiểu hóa hàm chi phí sau: $p$ $q$ $\mathbf X$ $\mathbf Y$ $n \times p$ $n\times q$

L = ‖ Y - X B ‖^{2},

$L=\|\mathbf Y-\mathbf X\mathbf B\|^2,$

Trong đó là ma trận của trọng số hồi quy. Giải pháp của nó được đưa ra bởi và thật dễ dàng để thấy rằng nó tương đương với việc thực hiện hồi quy OLS riêng biệt, một cho mỗi biến phụ thuộc. $\mathbf B$ $p\times q$

{\hat{B}}_{O L S} = (X^{⊤} X)^{- 1} X^{⊤} Y,

$\hat{\mathbf B}_\mathrm{OLS}=(\mathbf X^\top \mathbf X)^{-1}\mathbf X^\top \mathbf Y,$

q

$q$

Hồi quy giảm rank giới thiệu một hạn chế thứ hạng trên , cụ thể là nên được giảm thiểu với , nơi là tối đa cho phép cấp bậc . $\mathbf B$ $L$ $\operatorname{rank}(\mathbf B)\le r$ $r$ $\mathbf B$

2. Làm thế nào để có được giải pháp RRR?

Nó chỉ ra rằng RRR có thể được chọn là một vấn đề eigenvector. Thật vậy, bằng cách sử dụng thực tế rằng OLS về cơ bản là phép chiếu trực giao trên không gian cột của , chúng ta có thể viết lại thànhThuật ngữ đầu tiên không phụ thuộc vào và thuật ngữ thứ hai có thể được giảm thiểu bằng SVD / PCA của các giá trị được trang bị . $\mathbf X$ $L$

L = ‖ Y - X {\hat{B}}_{O L S} ‖^{2} + ‖ X {\hat{B}}_{O L S} - X B ‖^{2} .

$L=\|\mathbf Y-\mathbf X\hat{\mathbf B}_\mathrm{OLS}\|^2+\|\mathbf X\hat{\mathbf B}_\mathrm{OLS}-\mathbf X\mathbf B\|^2.$

B

$\mathbf B$

\hat{Y} = X {\hat{B}}_{O L S}

$\hat{\mathbf Y}=\mathbf X\hat{\mathbf B}_\mathrm{OLS}$

Cụ thể, nếu là trục chính đầu tiên của , thì $\mathbf U_r$ $r$ $\hat{\mathbf Y}$

{\hat{B}}_{R R R} = {\hat{B}}_{O L S} U_{r} U_{r}^{⊤} .

$\hat{\mathbf B}_\mathrm{RRR}=\hat{\mathbf B}_\mathrm{OLS}\mathbf U_r\mathbf U_r^\top.$

3. RRR tốt cho cái gì?

Có thể có hai lý do để sử dụng RRR.

Đầu tiên, người ta có thể sử dụng nó cho mục đích chính quy. Tương tự như hồi quy sườn núi (RR), Lasso, vv RRR giới thiệu một số "co rút" hình phạt trên . Thứ hạng tối ưu có thể được tìm thấy thông qua xác nhận chéo. Theo kinh nghiệm của tôi, RRR dễ dàng vượt trội hơn OLS nhưng có xu hướng thua RR. Tuy nhiên, RRR + RR có thể thực hiện (hơi) tốt hơn RR một mình. $\mathbf B$ $r$

Thứ hai, người ta có thể sử dụng nó như một phương pháp khai thác dữ liệu / giảm kích thước. Nếu chúng ta có một loạt các biến dự đoán và một loạt các biến phụ thuộc, thì RRR sẽ xây dựng "các yếu tố tiềm ẩn" trong không gian dự đoán, công việc tốt nhất để giải thích phương sai của DV. Sau đó, người ta có thể cố gắng diễn giải các yếu tố tiềm ẩn này, vẽ đồ thị cho chúng, v.v. Theo tôi biết, điều này được thực hiện thường xuyên trong sinh thái học, nơi RRR được gọi là phân tích dự phòng và là một ví dụ về những gì họ gọi là phương pháp phong chức ( xem câu trả lời của @ GavinSimpson tại đây ).

4. Mối quan hệ với các phương pháp giảm kích thước khác

RRR được kết nối chặt chẽ với các phương pháp giảm kích thước khác, chẳng hạn như CCA và PLS. Tôi đã trình bày nó một chút trong câu trả lời của tôi về Mối liên hệ giữa bình phương nhỏ nhất một phần, hồi quy thứ hạng giảm và hồi quy thành phần chính là gì?

if và là bộ dự đoán trung tâm ( ) và bộ dữ liệu phản hồi ( ) và nếu chúng ta tìm cặp trục đầu tiên, cho và cho , sau đó các phương thức này tối đa hóa các đại lượng sau: $\mathbf X$ $\mathbf Y$ $n \times p$ $n\times q$ $\mathbf w \in \mathbb R^p$ $\mathbf X$ $\mathbf v \in \mathbb R^q$ $\mathbf Y$

$\begin{aligned} P C A : & Var (X w) \\ R R R : & {Corr}^{2} (X w, Y v) \cdot Var (Y v) \\ P L S : & Var (X w) \cdot {Corr}^{2} (X w, Y v) \cdot Var (Y v) = {Cov}^{2} (X w, Y v) \\ C C A : & {Corr}^{2} (X w, Y v) \end{aligned}$ $\begin{align} \mathrm{PCA:}&\quad \operatorname{Var}(\mathbf{Xw}) \\ \mathrm{RRR:}&\quad \phantom{\operatorname{Var}(\mathbf {Xw})\cdot{}}\operatorname{Corr}^2(\mathbf{Xw},\mathbf {Yv})\cdot\operatorname{Var}(\mathbf{Yv}) \\ \mathrm{PLS:}&\quad \operatorname{Var}(\mathbf{Xw})\cdot\operatorname{Corr}^2(\mathbf{Xw},\mathbf {Yv})\cdot\operatorname{Var}(\mathbf {Yv}) = \operatorname{Cov}^2(\mathbf{Xw},\mathbf {Yv})\\ \mathrm{CCA:}&\quad \phantom{\operatorname{Var}(\mathbf {Xw})\cdot {}}\operatorname{Corr}^2(\mathbf {Xw},\mathbf {Yv}) \end{align}$

Xem ở đó để biết thêm chi tiết.

Xem Torre, 2009, Khung tối thiểu cho phân tích thành phần để xử lý chi tiết cách thức hầu hết các phương pháp đa biến tuyến tính phổ biến (ví dụ PCA, CCA, LDA, - nhưng không phải là PLS!) Có thể được xem là RRR.

5. Tại sao phần này trong Hastie et al. khó hiểu quá

Hastie et al. sử dụng thuật ngữ RRR để chỉ một điều hơi khác! Thay vì sử dụng hàm mất họ sử dụng như có thể thấy trong công thức 3.68 của họ. Điều này đưa một nhân tố whitening vào hàm mất, về cơ bản làm trắng các biến phụ thuộc. Nếu bạn nhìn vào sự so sánh giữa CCA và RRR ở trên, bạn sẽ nhận thấy rằng nếu được làm trắng thì sự khác biệt sẽ biến mất. Vì vậy, những gì Hastie et al. gọi RRR thực sự là CCA ngụy trang (và thực tế, xem 3,69 của họ).

L = ‖ Y - X B ‖^{2},

$L=\|\mathbf Y-\mathbf X \mathbf B\|^2,$

L = ‖ (Y - X B) (Y^{⊤} Y)^{- 1 / 2} ‖^{2},

$L=\|(\mathbf Y-\mathbf X \mathbf B)(\mathbf Y^\top \mathbf Y)^{-1/2}\|^2,$

Y

$\mathbf Y$

Y

$\mathbf Y$

Không ai trong số đó được giải thích chính xác trong phần này, do đó nhầm lẫn.

Xem câu trả lời của tôi về Hướng dẫn thân thiện hoặc giới thiệu về hồi quy thứ hạng giảm để đọc thêm.

— amip nói phục hồi Monica
nguồn

Đây là một lời giải thích chi tiết bằng văn bản rất độc đáo. Cảm ơn, tôi thấy cảm kích về nó lắm.

— cgo

@amoeba Câu trả lời tuyệt vời. Tôi có thể đề xuất một vài chỉnh sửa để làm cho nó dễ tiếp cận hơn không? Trên dòng cuối cùng của mục đầu tiên, bạn có thể đánh vần là gì , chẳng hạn, thứ hạng của ma trận mô hình nếu đó là thứ gì. Thứ hai, trên phương trình xác định dưới mục thứ hai, bạn giới thiệu , là hệ số dân số, và do đó là một tham số chưa biết. Bạn có thể giải thích một chút về điều đó?

r

$r$

B

$\bf B$

— Antoni Parellada

(1) Đó là hồi quy đa biến , @Antoni, tức là là một ma trận và cũng là một ma trận, không phải là một vectơ. (2) Ở đây chỉ là một tham số của sự mất mát năng . Mục đích là để tìm giảm thiểu .

Y

$Y$

B

$B$

B

$B$

L

$L$

B

$B$

L

$L$

— amip nói rằng Phục hồi lại

Về việc chọn thứ hạng tối ưu trong RRRR, lưu ý rằng mức độ tự do có thể được tính toán rõ ràng là một hàm của : , trong đó là kích thước đầu vào và là kích thước đầu ra. Sau đó, người ta có thể sử dụng xác thực chéo tổng quát (GCV) để chọn : .

r

$r$

r

$r$

\hat{df} (r) = p q - (p - r) (q - r) + "a small correction term"

$\hat{\text{df}}(r) = pq - (p-r)(q-r) + \text{"a small correction term"}$

p

$p$

q

$q$

r

$r$

\frac{‖ Y - {\hat{Y}}^{RRRR} (r) ‖_{Fro}^{2}}{(n q - \hat{df} (r))^{2}}

$\frac{\|Y - \hat{Y}^{\text{RRRR}}(r)\|_{\text{Fro}}^2}{(nq - \hat{\text{df}}(r))^2}$

— dohmatob

Xem ví dụ google.fr/url?sa=t&source=web&rct=j&url=https://iêu

— dohmatob

Giảm hồi quy thứ hạng là một mô hình trong đó không có một kết quả Y nào, mà là nhiều kết quả Y. Tất nhiên, bạn chỉ có thể điều chỉnh một hồi quy tuyến tính đa biến riêng biệt cho mỗi phản hồi, nhưng điều này có vẻ không hiệu quả khi mối quan hệ chức năng giữa các yếu tố dự đoán và từng phản hồi rõ ràng là tương tự nhau. Xem bài tập kaggle này cho một tình huống mà tôi tin rằng điều này rõ ràng nắm giữ.

https://www.kaggle.com/c/bike-shaming-demand/data

Có một số kỹ thuật liên quan để tiếp cận vấn đề này, xây dựng "các yếu tố" hoặc "các thành phần" từ các biến X sau đó được sử dụng để dự đoán các Ys. Trang tài liệu này từ SAS đã giúp làm rõ sự khác biệt đối với tôi. Giảm hồi quy thứ hạng dường như là về việc trích xuất các thành phần chiếm tối đa sự thay đổi giữa các phản hồi, ngược lại với Squial Least Partial trích xuất các thành phần chiếm tối đa sự thay đổi giữa cả phản ứng và dự đoán.

https://support.sas.com/documentation/cdl/en/statug/63347/HTML/default/viewer.htmlm#statug_pls_sect014.htmlm

— Iggy25
nguồn

+1. Đúng rồi. Tôi đã thảo luận về trang tài liệu SAS này và đặc biệt là con số của họ trong câu trả lời của tôi cho stats.stackexchange.com/questions/206587.

— amip nói rằng Phục hồi lại