Mối quan hệ LASSO giữa và

Hiểu biết của tôi về hồi quy LASSO là các hệ số hồi quy được chọn để giải quyết vấn đề tối thiểu hóa:

$$\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t$$

Trong thực tế, điều này được thực hiện bằng cách sử dụng hệ số nhân Lagrange, làm cho vấn đề cần giải quyết

$$\min_\beta \|y - X \beta\|_2^2 + \lambda \|\beta\|_1$$

Mối quan hệ giữa $\lambda$ và $t$ gì? Wikipedia chỉ đơn giản nói rằng "phụ thuộc dữ liệu".

Sao tôi phải quan tâm? Thứ nhất cho trí tò mò trí tuệ. Nhưng tôi cũng lo ngại về hậu quả của việc chọn $\lambda$ bằng cách xác thực chéo.

Cụ thể, nếu tôi thực hiện xác thực chéo n lần, tôi khớp n mô hình khác nhau với n phân vùng khác nhau của dữ liệu đào tạo của tôi. Sau đó, tôi so sánh độ chính xác của từng mô hình trên dữ liệu chưa sử dụng cho một $\lambda$ . Nhưng cùng một $\lambda$ ngụ ý một ràng buộc ( $t$ ) khác nhau cho các tập hợp con khác nhau của dữ liệu (nghĩa là $t=f(\lambda)$ là "phụ thuộc dữ liệu").

Không phải là vấn đề xác thực chéo mà tôi thực sự muốn giải quyết để tìm ra $t$ mang lại sự đánh đổi độ chính xác tốt nhất?

Tôi có thể có được một ý tưởng sơ bộ về kích thước của hiệu ứng này trong thực tế bằng cách tính toán cho mỗi lần phân tách xác thực chéo và và xem xét phân phối kết quả. Trong một số trường hợp, ràng buộc ngụ ý ( ) có thể thay đổi đáng kể trong các tập hợp xác thực chéo của tôi. Về cơ bản, ý tôi là hệ số biến thiên trong .$\|\beta\|_1$$\lambda$$t$$t>>0$

Đây là giải pháp chuẩn cho hồi quy sườn núi :

$$\beta = \left( X'X + \lambda I \right) ^{-1} X'y$$

Chúng tôi cũng biết rằng , vì vậy nó phải đúng$\| \beta \| = t$

$$\| \left( X'X + \lambda I \right) ^{-1} X'y \| = t$$ .

không dễ để giải quyết cho .$\lambda$

Đặt cược tốt nhất của bạn là chỉ tiếp tục làm những gì bạn đang làm: tính trên cùng một mẫu con của dữ liệu trên nhiều giá trị .$t$$\lambda$