Tại sao Lasso cung cấp lựa chọn biến?

Tôi đã đọc các yếu tố của học thống kê và tôi muốn biết lý do tại sao Lasso cung cấp lựa chọn thay đổi và hồi quy sườn không.

Cả hai phương pháp đều tối thiểu hóa tổng bình phương còn lại và có một ràng buộc đối với các giá trị có thể có của các tham số . Đối với Lasso, ràng buộc là , trong khi đối với sườn núi thì đó là , đối với một số .$\beta$$||\beta||_1 \le t$$||\beta||_2 \le t$$t$

Tôi đã nhìn thấy hình ảnh kim cương và hình elip trong cuốn sách và tôi có một số trực giác về lý do tại sao Lasso có thể chạm vào các góc của vùng bị giới hạn, ngụ ý rằng một trong các hệ số được đặt thành không. Tuy nhiên, trực giác của tôi khá yếu và tôi không bị thuyết phục. Nó rất dễ nhìn, nhưng tôi không biết tại sao điều này lại đúng.

Vì vậy, tôi đoán rằng tôi đang tìm kiếm một sự biện minh toán học, hoặc một lời giải thích trực quan về lý do tại sao các đường viền của tổng bình phương còn lại có khả năng chạm vào các góc của vùng bị ràng buộc (trong khi tình huống này khó xảy ra nếu ràng buộc là ).$||\beta||_1$$||\beta||_2$

Hãy xem xét một mô hình rất đơn giản: , với hình phạt L1 trên và hàm mất bình phương nhỏ nhất trên . Chúng ta có thể mở rộng biểu thức để được thu nhỏ như:$y = \beta x + e$β$\hat{\beta}$e$\hat{e}$

$\min y^Ty -2 y^Tx\hat{\beta} + \hat{\beta} x^Tx\hat{\beta} + 2\lambda|\hat{\beta}|$

Giả sử giải pháp bình phương nhỏ nhất là một số , tương đương với giả định rằng và xem điều gì xảy ra khi chúng ta thêm hình phạt L1. Với , , vì vậy thời hạn phạt bằng . Đạo hàm của hàm mục tiêu wrt là:$\hat{\beta} > 0$$y^Tx > 0$$\hat{\beta}>0$$|\hat{\beta}| = \hat{\beta}$$2\lambda\beta$$\hat{\beta}$

$-2y^Tx +2x^Tx\hat{\beta} + 2\lambda$

trong đó rõ ràng có giải pháp . $\hat{\beta} = (y^Tx - \lambda)/(x^Tx)$

Rõ ràng bằng cách tăng chúng ta có thể lái về 0 (tại ). Tuy nhiên, một khi , tăng sẽ không khiến nó âm tính, bởi vì, viết lỏng lẻo, tức thời trở thành âm, đạo hàm của hàm mục tiêu thay đổi thành:$\lambda$$\hat{\beta}$$\lambda = y^Tx$$\hat{\beta} = 0$$\lambda$$\hat{\beta}$

$-2y^Tx +2x^Tx\hat{\beta} - 2\lambda$

trong đó việc lật dấu hiệu của là do tính chất giá trị tuyệt đối của thời hạn phạt; khi trở nên âm tính, thời hạn phạt sẽ bằng và lấy kết quả wrt phái sinh trong . Điều này dẫn đến giải pháp , rõ ràng không phù hợp với (cho rằng giải pháp bình phương nhỏ nhất , trong đó ngụ ý và$\lambda$$\beta$$-2\lambda\beta$$\beta$$-2\lambda$$\hat{\beta} = (y^Tx + \lambda)/(x^Tx)$$\hat{\beta} < 0$$> 0$$y^Tx > 0$$\lambda > 0$). Có sự gia tăng hình phạt L1 VÀ tăng thời hạn lỗi bình phương (vì chúng tôi đang di chuyển xa hơn từ giải pháp bình phương nhỏ nhất) khi di chuyển từ đến , vì vậy chúng tôi không dính tại .$\hat{\beta}$$0$$< 0$$\hat{\beta}=0$

Cần phải rõ ràng bằng trực giác cùng một logic được áp dụng, với các thay đổi dấu thích hợp, cho một giải pháp bình phương tối thiểu với . $\hat{\beta} < 0$

Tuy nhiên, với hình phạt bình phương nhỏ nhất , đạo hàm trở thành:$\lambda\hat{\beta}^2$

$-2y^Tx +2x^Tx\hat{\beta} + 2\lambda\hat{\beta}$

trong đó rõ ràng có giải pháp . Rõ ràng là không tăng sẽ đẩy điều này về không. Vì vậy, hình phạt L2 không thể hoạt động như một công cụ lựa chọn biến mà không có một số yếu tố quảng cáo nhẹ như "đặt ước tính tham số bằng 0 nếu nó nhỏ hơn ". $\hat{\beta} = y^Tx/(x^Tx + \lambda)$$\lambda$$\epsilon$

Rõ ràng mọi thứ có thể thay đổi khi bạn chuyển sang các mô hình đa biến, ví dụ, di chuyển một ước tính tham số xung quanh có thể buộc một số khác thay đổi dấu, nhưng nguyên tắc chung là như nhau: hàm hình phạt L2 không thể đưa bạn về 0, bởi vì, viết rất heuristur, nó có hiệu lực thêm vào "mẫu số" của biểu thức cho , nhưng hàm hình phạt L1 có thể, bởi vì nó có hiệu lực thêm vào "tử số". $\hat{\beta}$

Giả sử chúng ta có một tập dữ liệu với y = 1 và x = [1/10 1/10] (một điểm dữ liệu, hai tính năng). Một giải pháp là chọn một trong các tính năng, một tính năng khác là cân cả hai tính năng. Tức là chúng ta có thể chọn w = [5 5] hoặc w = [10 0].

Lưu ý rằng đối với định mức L1 cả hai đều có cùng một hình phạt, nhưng trọng số trải rộng hơn có mức phạt thấp hơn cho định mức L2.

Tôi nghĩ rằng đã có những anwers tuyệt vời rồi nhưng chỉ để thêm một số trực giác liên quan đến việc giải thích hình học:

"Lasso thực hiện co rút , do đó có" góc "trong ràng buộc, có hai chiều tương ứng với một viên kim cương. Nếu tổng bình phương" chạm "một trong các góc này, thì hệ số tương ứng với trục bị thu hẹp đến không.$L1$

Khi tăng, viên kim cương đa chiều có số góc tăng dần, và do đó, rất có khả năng một số hệ số sẽ được đặt bằng 0. Do đó, Lasso thực hiện thu hẹp và (hiệu quả) lựa chọn tập hợp con.$p$

Ngược lại với lựa chọn tập hợp con, sườn núi thực hiện một ngưỡng mềm: vì tham số làm mịn được thay đổi, đường dẫn mẫu của các ước tính di chuyển liên tục về không. "

Nguồn: https://onlinecferences.science.psu.edu/stat857/book/export/html/137

Hiệu ứng có thể được hình dung độc đáo trong đó các đường màu là đường dẫn của các hệ số hồi quy thu nhỏ về không.

"Hồi quy sườn thu nhỏ tất cả các hệ số hồi quy về 0; Lasso có xu hướng đưa ra một tập hợp các hệ số hồi quy bằng 0 và dẫn đến một giải pháp thưa thớt."

Nguồn: https://onlinecferences.science.psu.edu/stat857/node/158