Trong điều kiện chính xác, hồi quy sườn có thể cung cấp một cải tiến so với hồi quy bình phương nhỏ nhất bình thường?

Hồi quy độ ước tính các tham số trong mô hình tuyến tính \ mathbf y = \ mathbf X \ boldsymbol \ beta bởi \ hat {\ boldsymbol \ beta} _ \ lambda = (\ mathbf X ^ \ top \ mathbf X + \ lambda \ mathbf I) ^ {- 1} \ mathbf X ^ \ top \ mathbf y, trong đó \ lambda là một tham số chính quy. Điều nổi tiếng là nó thường hoạt động tốt hơn hồi quy OLS (với \ lambda = 0 ) khi có nhiều yếu tố dự đoán tương quan.$\boldsymbol \beta$β λ = ( X ⊤ X + λ tôi ) - 1 X ⊤ y , λ λ = $\mathbf y = \mathbf X \boldsymbol \beta$

$$\hat{\boldsymbol \beta}_\lambda = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} \mathbf X^\top \mathbf y,$$ $\lambda$$\lambda=0$

Một định lý tồn tại cho hồi quy sườn núi nói rằng luôn tồn tại một tham số $\lambda^* > 0$ sao cho lỗi bình phương trung bình của $\hat{\boldsymbol \beta}_\lambda$ nhỏ hơn nhiều so với lỗi bình phương trung bình của OLS ước tính $\hat{\boldsymbol \beta}_\mathrm{OLS}=\hat{\boldsymbol \beta}_0$ . Nói cách khác, giá trị tối ưu của $\lambda$ luôn luôn khác không. Điều này rõ ràng đã được chứng minh lần đầu tiên ở Hoerl và Kennard, 1970 và được lặp lại trong nhiều ghi chú bài giảng mà tôi tìm thấy trên mạng (ví dụ ở đây và ở đây ). Câu hỏi của tôi là về các giả định của định lý này:

1. Có bất kỳ giả định nào về ma trận hiệp phương sai $\mathbf X^\top \mathbf X$ không?

2. Có bất kỳ giả định nào về chiều của $\mathbf X$ không?

Cụ thể, định lý này có còn đúng không nếu các yếu tố dự đoán là trực giao (tức là $\mathbf X^\top \mathbf X$ là đường chéo) hoặc thậm chí nếu $\mathbf X^\top \mathbf X=\mathbf I$ ? Và nó có còn đúng không nếu chỉ có một hoặc hai yếu tố dự đoán (giả sử, một yếu tố dự đoán và đánh chặn)?

Nếu định lý không đưa ra các giả định như vậy và vẫn đúng ngay cả trong các trường hợp này, thì tại sao hồi quy sườn núi thường chỉ được đề xuất trong trường hợp các yếu tố dự đoán tương quan và không bao giờ (?) Được đề xuất cho hồi quy đơn giản (không phải là nhiều)?

---

Điều này có liên quan đến câu hỏi của tôi về quan điểm hợp nhất về co ngót: mối quan hệ (nếu có) giữa nghịch lý của Stein, hồi quy sườn và hiệu ứng ngẫu nhiên trong các mô hình hỗn hợp là gì? , nhưng không có câu trả lời nào làm rõ điểm này cho đến bây giờ.

Câu trả lời cho cả 1 và 2 là không, nhưng cần cẩn thận trong việc diễn giải định lý tồn tại.

Phương sai của công cụ ước tính sườn

Đặt là ước tính sườn núi theo hình phạt và để là tham số thực sự cho mô hình . Đặt là giá trị riêng của . Từ các phương trình Hoerl & Kennard 4.2-4.5, rủi ro, (về mặt định mức dự kiến của lỗi) là kβY=Xβ+ελ1,...,λpXTXL$\hat{\beta^*}$$k$$\beta$$Y = X \beta + \epsilon$$\lambda_1, \dotsc, \lambda_p$$X^T X$
$L^2$

( X T X+k I p ) -2= ( X T X+k I p ) -1 ( X T X+k I p ) -1. γ1 ^ β * -βγ

$$\begin{align*} E \left( \left[ \hat{\beta^*} - \beta \right]^T \left[ \hat{\beta^*} - \beta \right] \right)& = \sigma^2 \sum_{j=1}^p \lambda_j/ \left( \lambda_j +k \right)^2 + k^2 \beta^T \left( X^T X + k \mathbf{I}_p \right)^{-2} \beta \\ & = \gamma_1 (k) + \gamma_2(k) \\ & = R(k) \end{align*}$$ trong trường hợp tôi có thể nói, Họ nhận xét rằng có cách giải thích về phương sai của sản phẩm bên trong của , trong khi là sản phẩm bên trong của sự thiên vị.$\left( X^T X + k \mathbf{I}_p \right)^{-2} = \left( X^T X + k \mathbf{I}_p \right)^{-1} \left( X^T X + k \mathbf{I}_p \right)^{-1}.$$\gamma_1$$\hat{\beta^*} - \beta$$\gamma_2$

Giả sử , sau đó Đặt là đạo hàm của rủi ro w / r / t . Vì , nên chúng tôi kết luận rằng có một số sao cho . R ( k ) = p σ 2 + k 2 β T$X^T X = \mathbf{I}_p$R ′ ( k ) = 2 k ( 1 + k ) β T β - ( p σ 2 + k 2 β T β

$$R(k) = \frac{p \sigma^2 + k^2 \beta^T \beta}{(1+k)^2}.$$ klimk→0 $$R^\prime (k) = 2\frac{k(1+k)\beta^T \beta - (p\sigma^2 + k^2 \beta^T \beta)}{(1+k)^3}$$ $k$k * > 0 R ( k * ) < R ( 0 $\lim_{k \rightarrow 0^+} R^\prime (k) = -2p \sigma^2 < 0$$k^*>0$$R(k^*)<R(0)$

Các tác giả nhận xét rằng tính trực giao là tốt nhất mà bạn có thể hy vọng về rủi ro ở và khi số điều kiện của tăng lên, phương pháp tiếp cận .X T X lim k → 0 + R ' ( k ) - $k=0$$X^T X$$\lim_{k \rightarrow 0^+} R^\prime (k)$$- \infty$

Bình luận

Dường như có một nghịch lý ở đây, nếu và không đổi, thì chúng ta chỉ đang ước tính giá trị trung bình của một chuỗi các biến Bình thường và chúng ta biết ước lượng không thiên vị vanilla được chấp nhận trong trường hợp này. Điều này được giải quyết bằng cách lưu ý rằng lý do trên chỉ cung cấp rằng giá trị tối thiểu của tồn tại đối với cố định . Nhưng với bất kỳ nào , chúng ta có thể làm cho rủi ro bùng nổ bằng cách làm cho lớn, do đó, riêng đối số này không thể hiện sự chấp nhận đối với ước tính sườn núi.X ( β , σ 2 ) k β T β k β T$p=1$$X$$(\beta, \sigma^2)$$k$$\beta^T \beta$$k$$\beta^T \beta$

Tại sao hồi quy sườn núi thường chỉ được khuyến nghị trong trường hợp các yếu tố dự đoán tương quan?

Dẫn xuất rủi ro của H & K cho thấy rằng nếu chúng tôi nghĩ rằng là nhỏ và nếu thiết kế gần như là số ít, thì chúng tôi có thể đạt được mức giảm lớn trong rủi ro ước tính. Tôi nghĩ rằng hồi quy sườn không được sử dụng phổ biến vì ước tính OLS là mặc định an toàn và các thuộc tính bất biến và không thiên vị là hấp dẫn. Khi thất bại, nó thất bại một cách trung thực - ma trận hiệp phương sai của bạn phát nổ. Có lẽ cũng có một điểm triết học / suy luận, rằng nếu thiết kế của bạn gần như là số ít và bạn có dữ liệu quan sát, thì việc giải thích khi thay đổi cho các thay đổi đơn vị trong là nghi ngờ - ma trận hiệp phương sai lớn là một triệu chứng đó. X T X β E Y $\beta ^T \beta$$X^T X$$\beta$$E Y$$X$

Nhưng nếu mục tiêu của bạn chỉ là dự đoán, mối quan tâm suy diễn sẽ không còn nữa, và bạn có một lập luận mạnh mẽ cho việc sử dụng một số loại ước tính co ngót.