Làm thế nào hồi quy Ridge hoặc Lasso thực sự hoạt động?

Câu hỏi rất cơ bản ở đây, nhưng tôi muốn hiểu (không phải về mặt toán học) làm thế nào để thêm một "hình phạt" (tổng bình phương coeff. Lần một vô hướng) vào tổng bình phương còn lại có thể làm giảm hệ số lớn? cảm ơn !

Bởi vì "hình phạt" của bạn đối với vấn đề tối thiểu hóa chỉ là hình thức langrange của vấn đề tối ưu hóa ràng buộc:

Giả sử các biến trung tâm. Trong cả hai trường hợp, lasso và sườn núi, hàm mục tiêu không bị giới hạn của bạn sau đó là tổng bình thường của phần dư bình phương; tức là đã cho$p$hồi quy bạn giảm thiểu: trên tất cả .

$$RSS(\boldsymbol{\beta}) = \sum_{i=1}^n (y_i-(x_{i,1}\beta_1 +\dots +x_{i,p}\beta_p))^2.$$ $\boldsymbol{\beta} =(\beta_1,\dots, \beta_p)$

Bây giờ, trong trường hợp hồi quy sườn, bạn thu nhỏ sao cho với một số giá trị của . Đối với các giá trị nhỏ của , sẽ không thể có được giải pháp tương tự như trong kịch bản bình phương tối thiểu tiêu chuẩn trong trường hợp bạn chỉ thu nhỏ - Hãy nghĩ về sau đó giải pháp khả thi duy nhất có thể là .$RSS(\boldsymbol{\beta})$

$$\sum_{i=1}^p\beta_p^2 \leq t_{ridge},$$ $t_{ridge}\geq 0$$t_{ridge}$$RSS(\boldsymbol{\beta})$$t_{ridge}=0$$\beta_1\equiv \dots \equiv \beta_p = 0$

Mặt khác, trong trường hợp của Lasso, bạn thu nhỏ dưới ràng buộc đối với một số giá trị của .$RSS(\boldsymbol{\beta})$

$$\sum_{i=1}^p|\beta_p| \leq t_{lasso},$$ $t_{lasso}\geq 0$

Cả hai vấn đề tối ưu hóa bị ràng buộc đều có thể được diễn đàn tương đương về vấn đề tối ưu hóa không bị ràng buộc, tức là đối với Lasso: bạn có thể giảm thiểu tương đương

$$\sum_{i=1}^n (y_i-(x_{i,1}\beta_1 +\dots +x_{i,p}\beta_p))^2 + \lambda_{lasso}\sum_{i=1}^p|\beta_p|.$$