Tại sao Ridge Regression hoạt động tốt trong sự hiện diện của đa cộng đồng?


13

Tôi đang tìm hiểu về hồi quy sườn và biết rằng hồi quy sườn có xu hướng hoạt động tốt hơn khi có sự đa hình. Tôi tự hỏi tại sao điều này là đúng? Một câu trả lời trực quan hoặc một câu trả lời toán học sẽ thỏa mãn (cả hai loại câu trả lời sẽ còn thỏa mãn hơn nữa).

Ngoài ra, tôi biết rằng đó β luôn có thể đạt được, nhưng tốt như thế nào không làm việc hồi quy sườn núi trong sự hiện diện của cộng tuyến chính xác (một biến độc lập là một hàm tuyến tính của người khác)?β^


5
Về câu hỏi thứ hai của bạn: Nếu bạn có chính xác thông tin, bạn chỉ cần loại bỏ một trong các biến. Bạn không cần hồi quy sườn.
Peter Flom - Tái lập Monica

Câu trả lời:


13

x1x2ylà chiều thứ 3) và thường có một mặt phẳng "tốt nhất" rất rõ ràng. Nhưng với colinearity, mối quan hệ thực sự là một đường xuyên qua không gian 3 chiều với dữ liệu nằm rải rác xung quanh nó. Nhưng thói quen hồi quy cố gắng khớp một mặt phẳng với một đường thẳng, do đó, có vô số mặt phẳng giao nhau hoàn hảo với đường thẳng đó, mặt phẳng nào được chọn phụ thuộc vào các điểm ảnh hưởng trong dữ liệu, thay đổi một trong những điểm đó một chút và mặt phẳng phù hợp "tốt nhất" thay đổi khá nhiều. Điều hồi quy sườn làm là kéo mặt phẳng đã chọn về phía các mô hình đơn giản hơn / saner (giá trị sai lệch về 0). Hãy nghĩ về một dải cao su từ gốc (0,0,0) đến mặt phẳng kéo mặt phẳng về 0 trong khi dữ liệu sẽ kéo nó đi để có một sự thỏa hiệp tốt đẹp.


@Trynna, có những bức ảnh minh họa những gì Greg nói về vấn đề cộng tác.
ttnphns

1
Đây là một giải thích hình học rất tốt về lý do tại sao đa cộng tuyến là một vấn đề trong hồi quy OLS! Nhưng tôi vẫn không hiểu tại sao việc kéo máy bay về điểm gốc sẽ khắc phục vấn đề.
TrynnaDoStat

2
@TrynnaDoStat, Mối quan tâm chính là sự thay đổi của các ước tính, với tính đa tuyến, một thay đổi nhỏ trong một điểm dữ liệu duy nhất có thể làm lung lay các ước tính hệ số (không có sai lệch). Bằng cách thiên về 0, không có nhiều thay đổi trong ước tính của các hệ số (vì dải cao su đó đang kéo chúng về 0) với một thay đổi nhỏ trong một điểm dữ liệu duy nhất, làm giảm tính biến thiên.
Greg Snow

Cảm ơn @ttnphns cho liên kết đến hình ảnh: không có nó, thật khó để có câu trả lời. Bây giờ câu trả lời của Greg đã rõ ràng và những gì tôi cần để hiểu dòng này trong ESLII (tái bản lần thứ 2): "hệ số dương cực lớn trên một biến có thể bị hủy bởi một hệ số âm tương tự lớn trên người anh em tương quan của nó. Bằng cách áp đặt một ràng buộc kích thước đối với hệ số vấn đề này được giảm bớt. "
Tommaso Guerrini
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.