Tại sao Lasso hoặc ElasticNet hoạt động tốt hơn so với Ridge khi các tính năng tương quan

Tôi có một bộ gồm 150 tính năng và nhiều trong số chúng có mối tương quan cao với nhau. Mục tiêu của tôi là dự đoán giá trị của một biến rời rạc, có phạm vi là 1-8 . Cỡ mẫu của tôi là 550 và tôi đang sử dụng xác thực chéo 10 lần .

AFAIK, trong số các phương pháp chính quy hóa (Lasso, ElasticNet và Ridge), Ridge khắt khe hơn về mối tương quan giữa các tính năng. Đó là lý do tại sao tôi mong đợi rằng với Ridge, tôi sẽ có được một dự đoán chính xác hơn. Tuy nhiên, kết quả của tôi cho thấy rằng sai số tuyệt đối trung bình của Lasso hoặc Đàn hồi là khoảng 0,61 trong khi điểm này là 0,97 cho hồi quy sườn. Tôi tự hỏi điều gì sẽ là một lời giải thích cho điều này. Đây có phải là vì tôi có nhiều tính năng và Lasso hoạt động tốt hơn vì nó tạo ra một loại lựa chọn tính năng, loại bỏ các tính năng dư thừa?

Giả sử bạn có hai biến dự đoán tương quan cao và giả sử cả hai biến được căn giữa và tỷ lệ (có nghĩa là không, phương sai một). Sau đó, hình phạt sườn núi trên vector tham số là β 2 1 + β 2 2 trong khi hạn phạt Lasso là | β 1 | + | β 2 | . Bây giờ, do mô hình được cho là rất cao, do đó x và z ít nhiều có thể thay thế nhau trong dự đoán Y , do đó, rất nhiều tổ hợp tuyến tính của x , z trong đó chúng ta chỉ cần thay thế một phần$x,z$$\beta_1^2 + \beta_2^2$$\mid \beta_1 \mid + \mid \beta_2 \mid$$x$$z$$Y$$x, z$ đối với z , sẽ hoạt động tương tự như các yếu tố dự đoán, ví dụ 0,2 x + 0,8 x , 0,3 x + 0,7 z hoặc 0,5 x + 0,5 $x$$z$$0.2 x + 0.8 x, 0.3 x + 0.7 z$$0.5 x + 0.5 z$sẽ tốt như nhau như dự đoán. Bây giờ hãy xem ba ví dụ này, hình phạt Lasso trong cả ba trường hợp đều bằng nhau, đó là 1, trong khi hình phạt sườn núi khác nhau, tương ứng là 0,68, 0,58, 0,5, vì vậy hình phạt sườn núi sẽ thích trọng số của các biến colinear bằng nhau trong khi hình phạt lasso sẽ không thể chọn. Đây là một lý do sườn núi (hay nói chung hơn là lưới đàn hồi, là sự kết hợp tuyến tính của hình phạt lasso và sườn núi) sẽ hoạt động tốt hơn với các công cụ dự đoán colinear: Khi dữ liệu đưa ra ít lý do để lựa chọn giữa các kết hợp tuyến tính khác nhau của các công cụ dự đoán colinear, lasso sẽ chỉ "Đi lang thang" trong khi sườn núi có xu hướng chọn trọng số bằng nhau. Điều cuối cùng có thể là một dự đoán tốt hơn để sử dụng với dữ liệu trong tương lai! Và, nếu đó là như vậy với dữ liệu hiện tại, có thể hiển thị trong xác thực chéo là kết quả tốt hơn với sườn núi.

Chúng ta có thể xem điều này theo một cách bay bổng: Ridge và lasso ngụ ý các thông tin trước khác nhau, và thông tin trước được ngụ ý bởi sườn núi có xu hướng hợp lý hơn trong các tình huống như vậy. .

sự khác biệt quan trọng nhất giữa lasso và sườn núi là lasso tự nhiên đưa ra lựa chọn, đặc biệt là các hiệp phương sai rất tương quan. Không thể thực sự chắc chắn nếu không nhìn thấy các hệ số được trang bị, nhưng thật dễ dàng để nghĩ rằng trong số các tính năng tương quan đó, nhiều tính năng đơn giản là vô dụng.