Bất kỳ nhược điểm của lưới đàn hồi trên lasso?

Nhược điểm của việc sử dụng lưới đàn hồi so với lasso là gì. Tôi biết rằng mạng đàn hồi có thể chọn các nhóm biến khi chúng có mối tương quan cao.

Nó không có vấn đề chọn nhiều hơn dự đoán khi . Trong khi đó Lasso bão hòa khi . $n$ $p \gg n$ $p \gg n$
Khi có những người dự đoán tương quan cao, Lasso có xu hướng chỉ chọn một người dự đoán ra khỏi nhóm.
Khi và các yếu tố dự đoán tương quan, hiệu suất dự đoán của lasso nhỏ hơn so với sườn núi. $n \gg p$

Tất cả những nhược điểm này của Lasso đều được khắc phục bằng lưới elasic.

Điều tôi không hiểu là khi nào nên sử dụng Lasso? Có bất kỳ lý do để sử dụng nó khi lưới đàn hồi hoạt động tốt hơn lasso? Những nhược điểm của việc sử dụng lưới đàn hồi trong một số trường hợp là gì? Trong trường hợp nào thì Lasso sẽ là lựa chọn tốt hơn?

lasso elastic-net

— Ville
nguồn

Một nhược điểm là chi phí tính toán. Bạn cần xác thực chéo trọng số tương đối của hình phạt L1 so với L2, và điều đó làm tăng chi phí tính toán theo số lượng giá trị trong lưới . $\alpha$ $\alpha$

Một nhược điểm khác (nhưng đồng thời cũng là một lợi thế) là tính linh hoạt của công cụ ước tính. Với tính linh hoạt cao hơn đi kèm xác suất tăng quá mức. Có thể là tối ưu cho dân số và cho cỡ mẫu đã cho là , biến lưới đàn hồi thành lasso, nhưng bạn tình cờ chọn một giá trị khác do tình cờ (vì giá trị đó mang lại hiệu suất tốt hơn khi xác thực chéo trong mẫu cụ thể). $\alpha$ $0$

— Richard Hardy
nguồn

Nhận xét nhỏ liên quan đến điểm thứ hai của bạn: lasso và lưới đàn hồi là các công cụ ước tính cho cùng một mô hình . Như vậy, không có sự khác biệt về tính linh hoạt của mô hình.

— hejseb

@hejseb: Với Lasso, có một tham số duy nhất được tối ưu hóa trong cross-validation:

. Trong đàn hồi-net, bạn có thể tối ưu hóa trên cả

và

, có nghĩa là cơ hội nhiều hơn cho overfitting trong quá trình lựa chọn cross-validation. Mặt khác, chỉ cần sử dụng các giá trị mặc định của

có xu hướng hoạt động thực sự tốt, do đó, thường chỉ

được tối ưu hóa hơn. Vì vậy, tôi không đồng ý với tuyên bố của bạn, bởi vì tôi xem xét

và

là một phần của mô hình (mặc dù tôi hiểu sự mơ hồ).

λ

$\lambda$

α

$\alpha$

λ

$\lambda$

α

$\alpha$

λ

$\lambda$

α

$\alpha$

λ

$\lambda$

— Vách đá AB

@hejseb, điểm tuyệt vời! Bây giờ sửa lại. Cliff AB, tôi nghĩ rằng cần mô hình định nghĩa không bao gồm các thông số điều chỉnh của dự toán (Lasso, net đàn hồi, ...) - mà

và

là - vì vậy đối với tôi bình luận hejseb của làm cho rất nhiều ý nghĩa. Tôi nghĩ dọc theo dòng của việc xác định một mô hình cho dân số (một mô hình tuyến tính trong trường hợp này) và ước lượng các tham số của nó (trong đó bao gồm

s nhưng không

hoặc

) bởi một số ước lượng.

α

$\alpha$

λ

$\lambda$

β

$\beta$

α

$\alpha$

λ

$\lambda$

— Richard Hardy