Có một cách thanh lịch / sâu sắc để hiểu bản sắc hồi quy tuyến tính này cho nhiều không?

Trong hồi quy tuyến tính, tôi đã bắt gặp một kết quả thú vị rằng nếu chúng ta phù hợp với mô hình

E [Y] = β_{1} X_{1} + β_{2} X_{2} + c,

$E[Y] = \beta_1 X_1 + \beta_2 X_2 + c,$

sau đó, nếu chúng tôi chuẩn hóa và căn giữa dữ liệu $Y$ , $X_1$ và $X_2$ ,

R^{2} = C o r (Y, X_{1}) β_{1} + C o r (Y, X_{2}) β_{2} .

$R^2 = \mathrm{Cor}(Y,X_1) \beta_1 + \mathrm{Cor}(Y, X_2) \beta_2.$

Cảm giác này đối với tôi giống như một phiên bản 2 biến của $R^2 = \mathrm{Cor}(Y,X)^2$ cho hồi quy $y=mx+c$ , rất dễ chịu.

Nhưng bằng chứng duy nhất tôi biết không phải là dù mang tính xây dựng hay sâu sắc (xem bên dưới), và khi nhìn vào nó, cảm giác như nó có thể dễ hiểu.

Ví dụ suy nghĩ:

Các tham số $\beta_1$ và $\beta_2$ cung cấp cho chúng tôi 'tỷ lệ' của $X_1$ và $X_2$ trong $Y$ và vì vậy chúng tôi đang lấy tỷ lệ tương ứng của chúng ...
Các $\beta$ của mối tương quan một phần, $R^2$ là nhiều mối tương quan bình phương ... mối tương quan nhân với hệ số tương quan một phần ...
Nếu chúng ta trực giao hóa trước thì $\beta$ s sẽ là $\mathrm{Cov}/\mathrm{Var}$ ... kết quả này có mang ý nghĩa hình học nào không?

Không ai trong số các chủ đề này dường như dẫn đến bất cứ nơi nào cho tôi. Bất cứ ai có thể cung cấp một lời giải thích rõ ràng về cách hiểu kết quả này.

Bằng chứng không hài lòng

R^{2} = = \frac{S S_{r e g}}{S S_{T o t}} = = \frac{S S_{r e g}}{N} = = ⟨ (β_{1} X_{1} + β_{2} X_{2})^{2} ⟩ = = ⟨ β_{1}^{2} X_{1}^{2} ⟩ + ⟨ β_{2}^{2} X_{2}^{2} ⟩ + 2 ⟨ β_{1} β_{2} X_{1} X_{2} ⟩

$\begin{equation} R^2 = \frac{SS_{reg}}{SS_{Tot}} = \frac{SS_{reg}}{N} = \langle(\beta_1 X_1 + \beta_2 X_2)^2\rangle \\= \langle\beta_1^2 X_1^2\rangle + \langle\beta_2^2 X_2^2\rangle + 2\langle\beta_1\beta_2X_1X_2\rangle \end{equation}$

và

C o r (Y, X_{1}) β_{1} + C o r (Y, X_{2}) β_{2} = = ⟨ Y X_{1} ⟩ β_{1} + ⟨ Y X_{2} ⟩ β_{2} = = ⟨ β_{1} X_{1}^{2} + β_{2} X_{1} X_{2} ⟩ β_{1} + ⟨ β_{1} X_{1} X_{2} + β_{2} X_{2}^{2} ⟩ β_{2} = = ⟨ β_{1}^{2} X_{1}^{2} ⟩ + ⟨ β_{2}^{2} X_{2}^{2} ⟩ + 2 ⟨ β_{1} β_{2} X_{1} X_{2} ⟩

$\begin{equation} \mathrm{Cor}(Y,X_1) \beta_1 + \mathrm{Cor}(Y, X_2) \beta_2 = \langle YX_1\rangle\beta_1 + \langle Y X_2\rangle \beta_2\\ =\langle \beta_1 X_1^2 + \beta_2 X_1 X_2\rangle \beta_1 + \langle \beta_1 X_1 X_2 + \beta_2 X_2^2\rangle \beta_2\\ =\langle \beta_1^2 X_1^2\rangle + \langle \beta_2^2 X_2^2 \rangle + 2\langle \beta_1 \beta_2 X_1 X_2\rangle \end{equation}$

QED.

— Korone
nguồn

Bạn phải sử dụng các biến được tiêu chuẩn hóa, vì nếu không, công thức của bạn cho không được đảm bảo nằm giữa và . Mặc dù giả định này được đưa ra trong bằng chứng của bạn, nhưng nó sẽ giúp làm cho nó rõ ràng ngay từ đầu. Tôi cũng bối rối về những gì bạn đang thực sự làm: của bạn rõ ràng chỉ là một chức năng của mô hình - không liên quan gì đến dữ liệu - nhưng bạn bắt đầu đề cập rằng bạn đã "khớp" mô hình với một cái gì đó .

R^{2}

$R^2$

0

$0$

1

$1$

R^{2}

$R^2$

— whuber

Không phải kết quả hàng đầu của bạn chỉ giữ nếu X1 & X2 hoàn toàn không tương thích?

— gung - Phục hồi Monica

@gung Tôi không nghĩ vậy - bằng chứng ở phía dưới dường như nói rằng nó hoạt động bất kể. Kết quả này cũng làm tôi ngạc nhiên, do đó muốn có một "bằng chứng hiểu biết rõ ràng"

— Korone

@whuber Tôi không chắc ý của bạn là "chức năng của mô hình"? Tôi chỉ đơn giản có nghĩa là cho OLS đơn giản với hai biến dự đoán. Tức là đây là phiên bản 2 biến của

R^{2}

$R^2$

R^{2} = C o r (Y, X)^{2}

$R^2 = Cor(Y,X)^2$

— Korone

Tôi không thể biết liệu của bạn là tham số hay ước tính.

β_{i}

$\beta_i$

— whuber

Câu trả lời:

Ma trận mũ là idempotent.

(Đây là một cách đại số tuyến tính cho biết OLS là hình chiếu trực giao của vectơ đáp ứng lên không gian được kéo dài bởi các biến.)

Nhớ lại rằng theo định nghĩa

R^{2} = = \frac{E S S}{T S S}

$R^2 = \frac{ESS}{TSS}$

Ở đâu

E S S = = (\hat{Y})^{'} \hat{Y}

$ESS = (\hat Y)^\prime \hat Y$

là tổng bình phương của các giá trị dự đoán (ở giữa) và

T S S = = Y^{'} Y

$TSS = Y^\prime Y$

là tổng bình phương của các giá trị đáp ứng (ở giữa). Chuẩn hóa trước cho phương sai đơn vị cũng ngụ ý $Y$

T S S = = Y^{'} Y = = n .

$TSS = Y^\prime Y = n.$

Nhớ lại, các hệ số ước tính được đưa ra bởi

\hat{β} = = (X^{'} X)^{-} X^{'} Y,

$\hat\beta = (X^\prime X)^{-} X^\prime Y,$

từ đâu

\hat{Y} = = X \hat{β} = = X (X^{'} X)^{-} X^{'} Y = = H Y

$\hat Y = X \hat \beta = X (X^\prime X)^{-} X^\prime Y = H Y$

nơi là "ma trận mũ" thực hiện việc chiếu của vào bình phương nhỏ nhất của nó phù hợp với . Nó là đối xứng (rõ ràng từ chính hình thức của nó) và idempotent . Dưới đây là một bằng chứng về sau cho những người không quen với kết quả này. Nó chỉ xáo trộn dấu ngoặc đơn xung quanh: $H$ $Y$ $\hat Y$

\begin{aligned} H^{'} H = = H H & = = (X (X^{'} X)^{-} X^{'}) (X (X^{'} X)^{-} X^{'}) \\ = = X (X^{'} X)^{-} (X^{'} X) (X^{'} X)^{-} X^{'} \\ = = X (X^{'} X)^{-} X^{'} = = H . \end{aligned}

$\eqalign{H^\prime H = H H &=\left( X (X^\prime X)^{-} X^\prime\right)\left(X (X^\prime X)^{-} X^\prime \right) \\ &= X (X^\prime X)^{-} \left(X^\prime X \right) (X^\prime X)^{-} X^\prime \\ &= X (X^\prime X)^{-} X^\prime = H. }$

vì thế

R^{2} = = \frac{E S S}{T S S} = = \frac{1}{n} (\hat{Y})^{'} \hat{Y} = = \frac{1}{n} Y^{'} H^{'} H Y = = \frac{1}{n} Y^{'} H Y = = (\frac{1}{n} Y^{'} X) \hat{β} .

$R^2 = \frac{ESS}{TSS} = \frac{1}{n} (\hat Y)^\prime \hat Y = \frac{1}{n}Y^\prime H^\prime H Y = \frac{1}{n}Y^\prime H Y = \left(\frac{1}{n}Y^\prime X\right) \hat \beta.$

Di chuyển quan trọng ở giữa đã sử dụng tính không thay đổi của ma trận mũ. Phía bên tay phải là công thức kỳ diệu của bạn bởi vì là (hàng) vector của hệ số tương quan giữa và các cột của . $\frac{1}{n}Y^\prime X$ $Y$ $X$

— whuber
nguồn

(+1) Viết rất hay. Nhưng tại sao ^{-}thay vì ^{-1}ở khắp mọi nơi?

— amip

@amoeba Đó là một nghịch đảo tổng quát , đặt ở đó để xử lý các trường hợp có thể là số ít.

X^{'} X

$X^\prime X$

— whuber

@amoeba Penrose, trong bài báo gốc của mình ( A Generalized Inverse for Matrices , 1954) đã sử dụng ký hiệu . Tôi không thích cả ký hiệu vì chúng quá dễ bị nhầm lẫn với liên hợp, hoán vị hoặc liên hợp, trong khi ký hiệu rất gợi ý người đọc thông thường có thể thoát khỏi suy nghĩ về nó là nếu họ thích. Bạn chỉ là một người đọc quá tốt - nhưng cảm ơn vì đã chú ý.

A^{†}

$A^\dagger$

A^{+}

$A^{+}$

A^{-}

$A^{-}$

A^{- 1}

$A^{-1}$

— whuber

Động lực thú vị và hấp dẫn, nhưng tôi có thể hỏi nếu ký hiệu này là thứ đôi khi được sử dụng ở nơi khác hoặc nó là phát minh của riêng bạn?

— amip

@amoeba: Vâng, ký hiệu này xuất hiện ở nơi khác, kể cả trong các văn bản cổ điển của Graybill trên mô hình tuyến tính.

— Đức hồng y

Ba công thức sau đây được biết đến, chúng được tìm thấy trong nhiều cuốn sách về hồi quy tuyến tính. Không khó để lấy được chúng.

$\beta_1= \frac {r_{YX_1}-r_{YX_2}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

$\beta_2= \frac {r_{YX_2}-r_{YX_1}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

$R^2= \frac {r_{YX_1}^2+r_{YX_2}^2-2 r_{YX_1}r_{YX_2}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

Nếu bạn thay thế hai betas vào phương trình của bạn , bạn sẽ nhận được công thức trên cho bình phương R. $R^2 = r_{YX_1} \beta_1 + r_{YX_2} \beta_2$

Đây là một "cái nhìn sâu sắc" hình học. Dưới đây là hai hình ảnh cho thấy hồi quy của theo và . Kiểu biểu diễn này được gọi là các biến như các vectơ trong không gian chủ đề (vui lòng đọc nội dung của nó). Các hình ảnh được vẽ sau khi tất cả ba biến được căn giữa và vì vậy (1) mỗi chiều dài của vectơ = st. độ lệch của biến tương ứng và (2) góc (cosin của nó) giữa mỗi hai vectơ = tương quan giữa các biến tương ứng. $Y$ $X_1$ $X_2$

nhập mô tả hình ảnh ở đây

là dự đoán hồi quy (chiếu trực giao củalên "máy bay X"); là thuật ngữ lỗi; , hệ số tương quan nhiều. $\hat{Y}$ $Y$ $e$ $cos \angle{Y \hat{Y}}={|\hat Y|}/|Y|$

Bức tranh mô tả trái tọa độ nghiêng của trên các biến và . Chúng ta biết rằng tọa độ như vậy liên quan đến các hệ số hồi quy. Cụ thể, tọa độ là: và . $\hat{Y}$ $X_1$ $X_2$ $b_1|X_1|=b_1\sigma_{X_1}$ $b_2|X_2|=b_2\sigma_{X_2}$

Và hình bên phải hiển thị tọa độ vuông góc tương ứng . Chúng ta biết rằng các tọa độ như vậy liên quan đến các hệ số tương quan bậc 0 (đây là các cosin của các phép chiếu trực giao). Nếu là mối tương quan giữa và và là mối tương quan giữa và sau đó tọa độ là $r_1$ $Y$ $X_1$ $r_1^*$ $\hat Y$ $X_1$ . Tương tự như vậy đối với tọa độ khác, . $r_1|Y|=r_1\sigma_{Y} = r_1^*|\hat{Y}|=r_1^*\sigma_{\hat{Y}}$ $r_2|Y|=r_2\sigma_{Y} = r_2^*|\hat{Y}|=r_2^*\sigma_{\hat{Y}}$

Cho đến nay nó đã được giải thích chung về biểu diễn vector hồi quy tuyến tính. Bây giờ chúng ta chuyển sang cho công việc để chứng tỏ nó có thể dẫn đến . $R^2 = r_1 \beta_1 + r_2 \beta_2$

Trước hết, hãy nhớ lại rằng trong câu hỏi của họ @Corone đưa ra điều kiện là biểu thức là đúng khi cả ba biến được chuẩn hóa , nghĩa là, không chỉ tập trung mà còn được chia tỷ lệ thành phương sai 1. Sau đó (nghĩa là là "phần làm việc" của vectơ) ta có tọa độ bằng: ; ; $|X_1|=|X_2|=|Y|=1$ $b_1|X_1|=\beta_1$ $b_2|X_2|=\beta_2$ ; ; cũng như. Vẽ lại, trong những điều kiện này, chỉ là "mặt phẳng X" của các hình trên: $r_1|Y|=r_1$ $r_2|Y|=r_2$ $R=|\hat Y|/|Y|=|\hat Y|$

nhập mô tả hình ảnh ở đây

$\hat Y$ $R$ $\bf P = S C$ $\bf P$ points X axes $\bf S$ $\bf C$ axes X axes

$X_1$ $X_2$ $r_{12}$ $r_1 = \beta_1 + \beta_2 r_{12}$ $r_2 = \beta_1 r_{12} + \beta_2$

$r$ $\beta$ $R^2 = r_1 \beta_1 + r_2 \beta_2$ $R^2 = \beta_1^2 + \beta_2^2 + 2\beta_1\beta_2r_{12}$ $\beta_1\beta_2r_{12}$

Điều này cũng đúng với bất kỳ số lượng dự đoán X. Thật không may, không thể vẽ các bức tranh giống nhau với nhiều dự đoán.

— ttnphns
nguồn

+1 cũng rất vui khi thấy nó được xây dựng theo cách này, nhưng điều này không làm tăng thêm cái nhìn sâu sắc so với câu trả lời của người đánh bóng

— Korone

@Corone, tôi đã thêm một số "cái nhìn sâu sắc" mà bạn có thể mất.

— ttnphns

r_{1} = β_{1} + β_{2} r_{12}

$r_1 = \beta_1 + \beta_2 r_{12}$

Thực sự chỉnh sửa mát mẻ, chuyển đổi được chấp nhận.

— Korone