Lasso trong phân tích hồi quy là gì?

81

Tôi đang tìm kiếm một định nghĩa phi kỹ thuật về Lasso và nó được sử dụng để làm gì.

— Paul Vogt
nguồn

Từ trang của Robert Tibshirani (tác giả của bài báo Lasso gốc): Một lời giải thích đơn giản về Lasso và Least Angle Regression .

112

LASSO (Toán tử thu nhỏ và chọn lọc tối thiểu) là một phương pháp hồi quy liên quan đến việc xử phạt kích thước tuyệt đối của các hệ số hồi quy.

Bằng cách xử phạt (hoặc tương đương ràng buộc tổng các giá trị tuyệt đối của các ước tính), bạn sẽ gặp phải tình huống trong đó một số ước tính tham số có thể chính xác bằng không. Hình phạt được áp dụng càng lớn, ước tính càng bị thu hẹp về không.

Điều này thuận tiện khi chúng ta muốn một số tính năng tự động / lựa chọn biến hoặc khi xử lý các yếu tố dự đoán tương quan cao, trong đó hồi quy tiêu chuẩn thường sẽ có các hệ số hồi quy 'quá lớn'.

https://web.stanford.edu/~hastie/ElemStatLearn/ (Tải xuống miễn phí) có một mô tả hay về LASSO và các phương pháp liên quan.

— dcl
nguồn

Tôi mới đến trang web; đây chính xác là thông tin tôi đang tìm kiếm; cảm ơn nhiều.

— Paul Vogt

Có một bản PDF về cách giải quyết nó bằng Bài toán kép không?

— Royi

Liên kết bị hỏng

— Oliver Angelil

3

Hồi quy LASSO là một loại phân tích hồi quy trong đó cả lựa chọn và điều chỉnh biến xảy ra đồng thời. Phương pháp này sử dụng một hình phạt ảnh hưởng đến giá trị của các hệ số hồi quy. Khi hình phạt tăng nhiều hệ số trở thành số không và ngược lại. Nó sử dụng kỹ thuật chuẩn hóa L1 trong đó tham số điều chỉnh được sử dụng làm lượng co ngót. Khi điều chỉnh tham số tăng thì độ lệch tăng và khi giảm thì phương sai tăng. Nếu nó là hằng số thì không có hệ số nào bằng 0 và có xu hướng vô cùng thì tất cả các hệ số sẽ bằng không.

— Shweta
nguồn

2

Trong hồi quy "bình thường" (OLS), mục tiêu là tối thiểu hóa tổng bình phương còn lại (RSS) để ước tính các hệ số

\underset{β \in R^{p}}{argmin} \sum_{i = 1}^{n} (Y_{i} - \sum_{j = 1}^{p} X_{i j} β_{j})^{2}

$\underset{\beta \in \mathbb{R}^p}{\operatorname{argmin}} \sum_{i=1}^{n} (Y_{i} - \sum_{j=1}^{p}X_{ij}\beta_{j})^{2}$

Trong trường hợp hồi quy LASSO, bạn ước tính các hệ số với cách tiếp cận hơi khác:

\underset{β \in R^{p}}{argmin} \sum_{i = 1}^{n} (Y_{i} - \sum_{j = 1}^{p} X_{i j} β_{j})^{2} + λ \sum_{j = 1}^{p} | β_{j} |

$\underset{\beta \in \mathbb{R}^p}{\operatorname{argmin}} \sum_{i=1}^{n} (Y_{i} - \sum_{j=1}^{p}X_{ij}\beta_{j})^{2} \color{red}{+ \lambda \sum_{j=1}^{p}|\beta_{j}|}$

Phần mới được tô sáng màu đỏ, là tổng của các giá trị hệ số tuyệt đối bị phạt bởi , vì vậy kiểm soát lượng điều tiết (L1). $\lambda$ $\lambda$

Lưu ý rằng nếu , nó sẽ dẫn đến các hệ số tương tự như hồi quy tuyến tính đơn giản. Công thức cho thấy rằng trong trường hợp LASSO cần cả hai, quy định RSS và L1 (phần màu đỏ mới) là tối thiểu. Nếu , hình phạt L1 màu đỏ ràng buộc kích thước của các hệ số để hệ số chỉ có thể tăng nếu điều này dẫn đến cùng một mức giảm RSS. Tổng quát hơn, cách duy nhất các hệ số có thể tăng là nếu chúng ta trải qua sự giảm tương đương trong tổng số bình phương còn lại (RSS). Do đó, bạn càng đặt cao hơn $\lambda = 0$ $\operatorname{argmin}$ $\lambda = 1$ $\lambda$ càng nhiều hình phạt được áp dụng cho các hệ số và nhỏ hơn sẽ là các hệ số, một số có thể trở thành số không. Điều đó có nghĩa là LASSO có thể dẫn đến các mô hình tuyệt vời bằng cách thực hiện lựa chọn tính năng và nó ngăn chặn mô hình quá mức. Điều đó nói rằng, bạn có thể sử dụng LASSO nếu bạn có nhiều tính năng và mục tiêu của bạn là dự đoán dữ liệu hơn là giải thích các hệ số của mô hình của bạn.

— tảng đá
nguồn

1

Cảm ơn câu trả lời của bạn (+1). Trang web này hỗ trợ , bạn có thể đăng công thức trong không? Điều này sẽ làm cho chúng có thể đọc được cho người dùng khiếm thị. Lưu ý rằng bạn thậm chí có thể sử dụng màu sắc như ở đây (nhấp vào "chỉnh sửa" để xem câu trả lời thô) và phần dưới như ở đây để tạo các số liệu tương tự. Cảm ơn.

T E X

$\TeX$

T E X

$\TeX$

— Tim

@Tim: Cảm ơn bạn rất nhiều vì điều đó! Đó là một mẹo tuyệt vời để nhấp vào chỉnh sửa để xem cách nó được thực hiện.

— tảng đá