Đâu là hiệu ứng giải thích của phương sai chung giữa các hiệp phương sai được tính trong các thủ tục hồi quy?

Theo dõi các câu trả lời tuyệt vời được cung cấp cho:

Liệu thứ tự của các biến giải thích có quan trọng khi tính hệ số hồi quy của chúng không?

(Điều mà tôi thấy cực kỳ hữu ích từ góc độ sư phạm), tôi đã tự hỏi làm thế nào chính xác nó quản lý để cung cấp các hệ số hồi quy khi chúng tôi xử lý dữ liệu cộng tuyến cao (bỏ qua lỗi tiêu chuẩn cao của các ước tính này).

Chỉnh sửa : Để dễ dàng, tôi đã sao chép phần trong câu hỏi được liên kết đến mấu chốt của sự nhầm lẫn (từ Các yếu tố của Học thống kê), hai hình ảnh đầu tiên cung cấp nền nhưng phần in nghiêng trong hình ảnh cuối cùng sẽ đến gốc về trực giác mà tôi đang đấu tranh:

Câu hỏi của tôi trong các từ, là - nếu, như đã nêu ở trên, nhiều hệ số hồi quy biểu thị tác động của mỗi hiệp phương sai đối với một biến phụ thuộc có một phần biến đổi có thể được giải thích bằng các biến khác, trong đó hiệu ứng giải thích của biến thiên chia sẻ của đồng biến chiếm?

Lưu ý Tôi hy vọng có được trực giác ở đây - đại số và hình học của giải pháp và cả hai đều khá dễ nắm bắt.

Như một ví dụ cố gắng làm sáng tỏ, hãy xem xét một cực trị logic trong đó:

Y = X + ϵ_{y}

$Y = X + \epsilon_y$

ϵ_{y} \sim N (0, 0.1)

$\epsilon_y \sim N(0,0.1)$

X_{1} = X + ϵ_{1}

$X_1 = X + \epsilon_1$

X_{2} = X + ϵ_{2}

$X_2 = X + \epsilon_2$

ϵ_{1} \sim ϵ_{2} \sim N (0, 0.001)

$\epsilon_1 \sim \epsilon_2 \sim N(0,0.001)$

Nghĩa là, và có mối quan hệ tuyến tính mạnh mẽ và có sự cộng tác mạnh mẽ giữa và do yếu tố chung của chúng gây ra . Bây giờ giả sử chúng tôi cố gắng: $Y$ $X$ $X_1$ $X_2$ $X$

Y \sim X_{1} + X_{2}

$Y \sim X_1 + X_2$

Theo thủ tục Gram-Schmidt, phần còn lại của hoặc trên các hiệp phương sai khác (trong trường hợp này, chỉ là nhau) đã loại bỏ một cách hiệu quả phương sai chung giữa chúng (đây có thể là sự hiểu lầm của tôi), nhưng chắc chắn làm như vậy sẽ loại bỏ điểm chung yếu tố quản lý để giải thích mối quan hệ với ? $X_1$ $X_2$ $Y$

Chỉnh sửa : Để làm rõ một điểm được đưa ra dưới đây: như được nêu trong câu hỏi được liên kết, trong quy trình GS, các hệ số hồi quy bội không được tạo ra từ các hệ số tạm thời được tạo ra 'trên đường' đến phần dư cuối cùng. Nghĩa là, để có được hệ số cho chúng tôi thực hiện quy trình GS từ đánh chặn> > . Sau đó, để tạo hệ số cho chúng tôi sẽ làm việc thông qua đánh chặn> > . Trong cả hai trường hợp, phương sai chung quan trọng do và mối quan hệ kết quả với bị mất. $X_2$ $X_1$ $X_2$ $X_1$ $X_2$ $X_1$ $X$ $Y$

— Kiện Doh Nimh
nguồn

Câu trả lời:

Mặc dù bạn nói rằng hình học của điều này khá rõ ràng với bạn, tôi nghĩ rằng đó là một ý tưởng tốt để xem xét nó. Tôi đã thực hiện điều này trở lại của một bản phác thảo phong bì:

Subplot bên trái là con số tương tự như trong cuốn sách: xem xét hai yếu tố dự đoán và ; như vectơ, và trải rộng trên một chiếc máy bay trong chiều không gian, và đang được chiếu lên mặt phẳng này dẫn đến việc . $x_1$ $x_2$ $\mathbf x_1$ $\mathbf x_2$ $n$ $\mathbf y$ $\hat {\mathbf y}$

Subplot giữa hiển thị mặt phẳng trong trường hợp khi và không trực giao, nhưng cả hai đều có độ dài đơn vị. Các hệ số hồi quy và có thể thu được bằng phép chiếu không trực giao của lên và : điều đó khá rõ ràng từ hình ảnh. Nhưng điều gì xảy ra khi chúng ta đi theo con đường trực giao? $X$ $\mathbf x_1$ $\mathbf x_2$ $\beta_1$ $\beta_2$ $\hat{\mathbf y}$ $\mathbf x_1$ $\mathbf x_2$

Hai vectơ trực giao và từ Thuật toán 3.1 cũng được hiển thị trên hình. Lưu ý rằng mỗi trong số chúng được lấy thông qua một quy trình trực giao hóa Gram-Schmidt riêng biệt (chạy riêng thuật toán 3.1): là phần dư của khi được hồi quy trên ans là phần dư của khi hồi quy trên . Do đó, và trực giao với và và độ dài của chúng nhỏ hơn $\mathbf z_1$ $\mathbf z_2$ $\mathbf z_1$ $\mathbf x_1$ $\mathbf x_2$ $\mathbf z_2$ $\mathbf x_2$ $\mathbf x_1$ $\mathbf z_1$ $\mathbf z_2$ $\mathbf x_2$ $\mathbf x_1$ $1$ . Điều này là rất quan trọng.

Như đã nêu trong sách, hệ số hồi quy có thể được lấy là trong đó biểu thị một vectơ đơn vị theo hướng . Khi tôi chiếu lên trên bản vẽ của tôi, độ dài của hình chiếu (hiển thị trên hình) là người đề cử của phân số này. Để có được giá trị thực tế , người ta cần chia cho chiều dài của nhỏ hơn , tức là $\beta_i$

β_{i} = \frac{z_{i} \cdot y}{‖ z_{i} ‖^{2}} = \frac{e_{z_{i}} \cdot y}{‖ z_{i} ‖},

$\beta_i = \frac{\mathbf z_i \cdot \mathbf y}{\|\mathbf z_i\|^2} =\frac{\mathbf e_{\mathbf z_i} \cdot \mathbf y}{\|\mathbf z_i\|},$

e_{z_{i}}

$\mathbf e_{\mathbf z_{i}}$

z_{i}

$\mathbf z_i$

\hat{y}

$\hat{\mathbf y}$

z_{i}

$\mathbf z_i$

β_{i}

$\beta_i$

z_{i}

$\mathbf z_i$

1

$1$

β_{i}

$\beta_i$ sẽ lớn hơn chiều dài của hình chiếu.

Bây giờ hãy xem xét những gì xảy ra trong trường hợp cực đoan của tương quan rất cao (subplot phải). Cả đều có lớn, nhưng cả hai vectơ đều nhỏ bé và các hình chiếu của theo hướng của cũng sẽ rất nhỏ; Đây là tôi nghĩ điều gì cuối cùng làm bạn lo lắng. Tuy nhiên, để có được các giá trị , chúng ta sẽ phải hủy các phép chiếu này bằng độ dài nghịch đảo của , thu được các giá trị chính xác. $\beta_i$ $\mathbf z_i$ $\hat{\mathbf y}$ $\mathbf z_i$ $\beta_i$ $\mathbf z_i$

Theo thủ tục Gram-Schmidt, phần dư của X1 hoặc X2 trên các hiệp phương sai khác (trong trường hợp này, chỉ là nhau) loại bỏ một cách hiệu quả phương sai chung giữa chúng (đây có thể là nơi tôi đang hiểu lầm), nhưng chắc chắn làm như vậy sẽ loại bỏ điểm chung yếu tố quản lý để giải thích mối quan hệ với Y?

Nhắc lại: có, "phương sai chung" gần như (nhưng không hoàn toàn) "bị loại bỏ" khỏi phần dư - đó là lý do tại sao các phép chiếu trên và sẽ quá ngắn. Tuy nhiên, quy trình Gram-Schmidt có thể giải thích bằng cách chuẩn hóa theo độ dài của và ; độ dài có liên quan nghịch đảo đến tương quan giữa và , do đó, cuối cùng số dư sẽ được khôi phục. $\mathbf z_1$ $\mathbf z_2$ $\mathbf z_1$ $\mathbf z_2$ $\mathbf x_1$ $\mathbf x_2$

Cập nhật 1

Sau phần thảo luận với @mpiktas trong các bình luận: phần mô tả ở trên không phải là cách quy trình Gram-Schmidt thường được áp dụng để tính các hệ số hồi quy. Thay vì chạy Thuật toán 3.1 nhiều lần (mỗi lần sắp xếp lại chuỗi dự đoán), người ta có thể thu được tất cả các hệ số hồi quy từ một lần chạy. Điều này được ghi nhận trong Hastie et al. trên trang tiếp theo (trang 55) và là nội dung của Bài tập 3.4. Nhưng như tôi đã hiểu câu hỏi của OP, nó đề cập đến cách tiếp cận nhiều lần chạy (điều đó mang lại các công thức rõ ràng cho ). $\beta_i$

Cập nhật 2

Trả lời bình luận của OP:

Tôi đang cố gắng hiểu làm thế nào 'sức mạnh giải thích chung' của một tập hợp (phụ) là 'chênh lệch giữa' các ước tính hệ số của các hiệp phương sai đó. Tôi nghĩ rằng lời giải thích nằm ở đâu đó giữa hình minh họa hình học mà bạn đã cung cấp và mpiktas chỉ ra cách các hệ số nên tổng hợp với hệ số hồi quy của hệ số chung

Tôi nghĩ rằng nếu bạn đang cố gắng hiểu làm thế nào "phần chung" của các yếu tố dự đoán được thể hiện trong các hệ số hồi quy, thì bạn không cần phải suy nghĩ gì về Gram-Schmidt. Vâng, nó sẽ được "trải ra" giữa những người dự đoán. Có lẽ một cách hữu ích hơn để suy nghĩ về nó là về mặt chuyển đổi các yếu tố dự đoán với PCA để có được các yếu tố dự đoán trực giao. Trong ví dụ của bạn, sẽ có một thành phần chính đầu tiên lớn với trọng số gần như bằng nhau cho và . Vì vậy, hệ số hồi quy tương ứng sẽ phải được "chia" giữa và theo tỷ lệ bằng nhau. Thành phần chính thứ hai sẽ nhỏ và sẽ gần như trực giao với nó. $x_1$ $x_2$ $x_1$ $x_2$ $\mathbf y$

Trong câu trả lời của tôi ở trên, tôi giả sử rằng bạn đặc biệt nhầm lẫn về quy trình Gram-Schmidt và công thức kết quả cho về mặt . $\beta_i$ $z_i$

— amip
nguồn

Câu trả lời nổi bật, cảm ơn bạn rất nhiều. Vì vậy, chỉ cần làm tròn trực giác và cách diễn giải các hệ số kết quả, khi Hastie nói ' đại diện cho sự đóng góp bổ sung của trên , sau khi đã được điều chỉnh cho , , ... .', Chúng ta không nên hiểu điều này có nghĩa là các hệ số cố gắng chỉ giải thích sự đóng góp 'duy nhất' của mỗi biến hồi quy, nhưng đóng góp duy nhất 'bị thổi phồng' bởi sức mạnh giải thích chung với các hiệp phương sai khác trong tập hợp (cũng minh họa độc đáo tại sao bạn không nên tin vào các hệ số từ các biến đa hướng).

β_{j}

$\beta_j$

x_{j}

$x_j$

y

$y$

x_{j}

$x_j$

x_{0}

$x_0$

x_{1}

$x_1$

x_{p}

$x_p$

— Sue Doh Nimh

Tôi nghĩ người ta nên cẩn thận ở đây. Chính xác thì đóng góp "duy nhất" là gì và chính xác đóng góp "bổ sung" là gì? Những gì Hastie et al. nói rằng có thể thu được bằng cách lấy , hồi quy nó trên tất cả các dự đoán khác để thu được dư , sau đó hồi quy trên . Và điều này là chính xác. Lưu ý rằng không có lạm phát bổ sung cần thiết! "Lạm phát" mà tôi mô tả xảy ra tự động vì có độ dài nhỏ hơn . [tiếp theo]

β_{j}

$\beta_j$

x_{j}

$x_j$

z_{j}

$z_j$

y

$y$

z_{j}

$z_j$

z_{j}

$z_j$

x_{j}

$x_j$

— amip

Có lẽ bạn đang nghĩ đến một thủ tục thay thế giả thuyết trong đó được hồi quy đầu tiên trên tất cả các yếu tố dự đoán ngoài , và sau đó phần dư được hồi quy trên . Đó có thể là những gì tôi muốn gọi là đóng góp "duy nhất" hoặc "bổ sung" của . Nhưng lưu ý rằng đây là một quy trình khác và kết quả sẽ không bằng .

y

$y$

x_{j}

$x_j$

x_{j}

$x_j$

x_{j}

$x_j$

β_{j}

$\beta_j$

— amip

Bạn hiểu chính xác cách thức hoạt động của thuật toán. Bạn chỉ nhận được hệ số cuối cùng, do đó bạn áp dụng thuật toán nhiều lần để có được tất cả các hệ số. Điều này là hoàn toàn tốt. Nhưng Hastie không đề xuất để có được các hệ số theo cách này. Thuật toán được chạy một lần và sau đó bạn có được các hệ số thông qua đệ quy. Ngoài ra thủ tục GS cũng thường (trong các văn bản toán học) chạy một lần, tức là được cung cấp một tập các vectơ, nó tạo ra tập các vectơ trực giao.

— mpiktas

@amoeba Vâng, cảm ơn bạn, đó chính xác là những gì tôi đang tìm kiếm. Đối với hồ sơ có, tôi cũng đã đề cập đến việc chạy lại tuần tự quy trình GS để có được ước tính. Phải thừa nhận bằng cách làm như vậy tôi đã phân tâm khỏi mấu chốt của câu hỏi, nhưng những câu trả lời rộng hơn đã được cung cấp nhiều thông tin. :-)

— Sue Doh Nimh

Quy trình GS sẽ bắt đầu với và sau đó chuyển sang trực giao hóa . Vì và chia sẻ , kết quả thực tế sẽ bằng không trong ví dụ của bạn. Tuy nhiên, yếu tố chung còn lại, bởi vì chúng tôi bắt đầu với , và vẫn có . $X_1$ $X_2$ $X_1$ $X_2$ $X$ $X$ $X_1$ $X_1$ $X$

Vì và chia sẻ chung , chúng ta sẽ nhận được rằng phần còn lại của sau khi trực giao hóa thực tế bằng không như được nêu trong trích dẫn. $X_1$ $X_2$ $X$ $X_2$

Trong trường hợp này, người ta có thể lập luận rằng vấn đề hồi quy bội ban đầu không được đặt ra, vì vậy không có ý nghĩa gì để tiến hành, tức là chúng ta nên dừng quá trình GS và khôi phục vấn đề hồi quy bội ban đầu là . Trong trường hợp này, chúng tôi không mất yếu tố chung và bỏ qua chính xác , vì nó không cung cấp cho chúng tôi bất kỳ thông tin mới nào mà chúng tôi không có. $Y\sim X_1$ $X$ $X_2$

Tất nhiên, chúng ta có thể tiến hành thủ tục GS và tính hệ số cho và tính toán lại cho bài toán hồi quy bội ban đầu. Vì chúng ta không có colinearity hoàn hảo nên có thể làm điều đó về mặt lý thuyết. Thực tế nó sẽ phụ thuộc vào độ ổn định số của các thuật toán. Từ $X_2$

α X_{1} + β X 2 = (α + β) X + α ϵ_{1} + β ϵ_{2}

$\alpha X_1+ \beta X2 = (\alpha+\beta)X +\alpha\epsilon_1 + \beta\epsilon_2$

hồi quy sẽ tạo ra các hệ số và sao cho (chúng tôi sẽ không có sự bình đẳng nghiêm ngặt vì và ). $Y\sim X_1 + X_2$ $\alpha$ $\beta$ $\alpha+\beta \approx 1$ $\epsilon_1$ $\epsilon_2$

Đây là ví dụ trong R:

> set.seed(1001)
> x<-rnorm(1000)
> y<-x+rnorm(1000, sd = 0.1)
> x1 <- x + rnorm(1000, sd =0.001)
> x2 <- x + rnorm(1000, sd =0.001)
> lm(y~x1+x2)

Call:
lm(formula = y ~ x1 + x2)

Coefficients:
(Intercept)           x1           x2  
 -0.0003867   -1.9282079    2.9185409

Ở đây tôi đã bỏ qua thủ tục GS, vì các lmkết quả khả thi đã đưa ra, và trong trường hợp đó, việc tính toán lại các hệ số từ quy trình GS không thất bại.

— mpiktas
nguồn

Như được giải thích trong câu hỏi được liên kết, các hệ số hồi quy không được tạo ra từ các hệ số tạm thời được tạo ra "trên đường" đến phần dư cuối cùng. Nghĩa là, để có được hệ số cho chúng tôi thực hiện quy trình GS từ đánh chặn> > . Sau đó, để tạo hệ số cho chúng tôi sẽ làm việc thông qua đánh chặn> > . Trong cả hai trường hợp, phương sai chung quan trọng do X và mối quan hệ kết quả với Y bị mất.

X_{2}

$X_2$

X_{1}

$X_1$

X_{2}

$X_2$

X_{1}

$X_1$

X_{2}

$X_2$

X_{1}

$X_1$

— Sue Doh Nimh