Phạm vi tham số điều chỉnh Lasso và Ridge

7

Trong hồi quy tuyến tính sườn và lasso, một bước quan trọng là chọn tham số điều chỉnh lambda, tôi thường sử dụng tìm kiếm lưới theo tỷ lệ nhật ký từ -6-> 4, nó hoạt động tốt trên sườn núi, nhưng trên lasso, tôi nên tính đến thứ tự độ lớn của đầu ra y? ví dụ: nếu đầu ra y ở quy mô nano (-9), phạm vi tìm kiếm của tôi cho nhật ký lambda có thể là -15 -> -5.

tất cả các tham số đầu vào được chuẩn hóa, chúng nằm trong -3,3

— người dùng3450805
nguồn

4

Có, bạn nên tính đến quy mô sản lượng và cũng nên đưa vào tài khoản quy mô của các biến số trong . $y$ $X$

Đặt là ma trận thiết kế, có các hàng là vectơ với mỗi mục nhập là một hiệp phương thức cùng nhau tìm cách giải thích phản hồi . Mỗi mục nhập của phản hồi (đối với ) được cấu thành một cách phụ thuộc vào tín hiệu phụ thuộc vào các đồng biến và nhiễu iid có nghĩa là 0. Việc chọn mô hình tín hiệu là xấp xỉ tuyến tính dẫn chúng ta đến ước tính LASSO theo điều kiện đặt hàng đầu tiên, $X \in \mathbb{R}^{n \times p}$ $y \in \mathbb{R}^n$ $y_i = f(e_i^T X) + \epsilon_i$ $i = 1, \dots, n$ $f$

{\hat{β}}_{λ} = \arg min_{β} \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1},

$\hat \beta_\lambda = \arg\min_\beta \frac{1}{2n} \|y-X\beta\|_2^2 + \lambda \|\beta\|_1,$

\frac{- 1}{n} X^{T} (y - X {\hat{β}}_{λ}) = λ {\hat{z}}_{λ}

$\frac{-1}{n} X^T (y - X \hat \beta_\lambda) = \lambda \hat{z}_\lambda$ , trong đó là biến kép thỏa mãn nếu và nếu .

{\hat{z}}_{λ}

$\hat{z}_\lambda$

{\hat{z}}_{λ, j} = s g n ({\hat{β}}_{λ, j})

$\hat{z}_{\lambda,j} = sgn(\hat{\beta}_{\lambda, j})$

{\hat{β}}_{λ, j} \neq 0

$\hat{\beta}_{\lambda, j} \neq 0$

{\hat{z}}_{λ, j} \in [- 1, 1]

$\hat{z}_{\lambda, j} \in [-1,1]$

{\hat{β}}_{λ, j} = 0

$\hat{\beta}_{\lambda, j} = 0$

Cắm vào phương trình này, chúng ta thấy rằng , tạo $\hat{\beta}_\lambda = 0$ $\frac{-1}{n} X^T y = \lambda \hat{z}_\lambda$

\frac{1}{n} ‖ X^{T} y ‖_{\infty} = λ ‖ {\hat{z}}_{λ} ‖_{\infty} .

$\frac{1}{n} \|X^T y \|_\infty = \lambda \|\hat{z}_{\lambda}\|_\infty.$

Nếu , thì có thể giảm (với tăng để duy trì sự bình đẳng) và LASSO ước tính vẫn sẽ là . Do đó, tại , giá trị nhỏ nhất của tạo ra , chúng tôi nhận được $\|\hat{z}_\lambda\|_\infty \neq 1$ $\lambda$ $\|\hat{z}_\lambda\|_\infty$ $\hat{\beta}_\lambda = 0$ $\lambda_\mathrm{max}$ $\lambda$ $\hat{\beta}_{\lambda}=0$

\frac{1}{n} ‖ X^{T} y ‖_{\infty} = λ_{m a x} \cdot 1.

$\frac{1}{n} \|X^T y\|_\infty = \lambda_\mathrm{max} \cdot 1.$

Điều này cho chúng ta biết rằng không cần phải xem xét khi điều chỉnh LASSO. Bây giờ, trong thực tế, hầu hết các bộ giải chuẩn hóa các cột của để không cần phải tính trực tiếp. (Lưu ý rằng việc chuẩn hóa các đồng biến là hợp lý vì các đơn vị đo không ảnh hưởng đến hệ số ước tính.) $\lambda > \lambda_\mathrm{max}$ $X$

Trường hợp sườn núi được thảo luận tốt ở đây: Hình phạt tối đa cho hồi quy sườn núi

— người dùng795305
nguồn

3

Trong gói R glmnet, hàm cv.glmnetphù hợp với một mô hình trên toàn bộ tập dữ liệu để chọn đường dẫn chính quy phù hợp và sau đó thực hiện xác thực chéo bằng cách sử dụng đường dẫn đó. Điều này dường như hoạt động tốt trong thực tế.

— Sycorax nói phục hồi Monica
nguồn