Tại sao hồi quy sườn glmnet cho tôi một câu trả lời khác với tính toán thủ công?

Tôi đang sử dụng glmnet để tính toán ước tính hồi quy sườn núi. Tôi đã nhận được một số kết quả khiến tôi nghi ngờ trong glmnet đó thực sự đang làm những gì tôi nghĩ nó làm. Để kiểm tra điều này, tôi đã viết một tập lệnh R đơn giản trong đó tôi so sánh kết quả của hồi quy sườn được thực hiện bằng cách giải và tập lệnh trong glmnet, sự khác biệt rất đáng kể:

n    <- 1000
p.   <-  100
X.   <- matrix(rnorm(n*p,0,1),n,p)
beta <- rnorm(p,0,1)
Y    <- X%*%beta+rnorm(n,0,0.5)

beta1 <- solve(t(X)%*%X+5*diag(p),t(X)%*%Y)
beta2 <- glmnet(X,Y, alpha=0, lambda=10, intercept=FALSE, standardize=FALSE, 
                family="gaussian")$beta@x
beta1-beta2

Định mức của sự khác biệt thường là khoảng 20 mà không thể là do các thuật toán khác nhau về số lượng, tôi phải làm gì đó sai. Các cài đặt tôi phải đặt glmnetđể có được kết quả tương tự như với sườn núi là gì?

Sự khác biệt mà bạn đang quan sát là do sự phân chia bổ sung theo số lượng quan sát, N, mà GLMNET sử dụng trong hàm mục tiêu của họ và ngầm định tiêu chuẩn hóa Y theo độ lệch chuẩn của mẫu như dưới đây.

$$\frac{1}{2N}\left\|\frac{y}{s_y}-X\beta\right\|^2_{2}+\lambda\|\beta\|^2_{2}/2$$

trong đó chúng tôi sử dụng thay cho cho , $1/n$$1/(n-1)$$s_y$

$$s_y=\frac{\sum_i(y_i-\bar{y})^2}{n}$$

Bằng cách phân biệt với beta, đặt phương trình về 0,

$$X^TX\beta-\frac{X^Ty}{s_y}+N\lambda\beta =0$$

Và giải quyết beta, chúng tôi có được ước tính,

$$\tilde{\beta}_{GLMNET}= (X^TX+N\lambda I_p)^{-1}\frac{X^Ty}{s_y}$$

Để khôi phục các ước tính (và hình phạt tương ứng của chúng) trên số liệu ban đầu của Y, GLMNET nhân cả hai ước tính và lambdas bằng và trả lại các kết quả này cho người dùng,$s_y$

$$\hat{\beta}_{GLMNET}=s_y\tilde{\beta}_{GLMNET}= (X^TX+N\lambda I_p)^{-1}X^Ty$$ $$\lambda_{unstd.}=s_y\lambda$$

So sánh giải pháp này với đạo hàm chuẩn của hồi quy sườn núi.

$$\hat{\beta}= (X^TX+\lambda I_p)^{-1}X^Ty$$

Lưu ý rằng được chia tỷ lệ theo hệ số phụ của N. Ngoài ra, khi chúng tôi sử dụng hàm hoặc hàm, hình phạt sẽ được nhân rộng theo tỷ lệ . Điều đó có nghĩa là, khi chúng tôi sử dụng các hàm này để có được ước tính hệ số cho một số , chúng tôi có được các ước tính cho một cách hiệu quả .$\lambda$predict()coef()$1/s_y$$\lambda^*$$\lambda=\lambda^*/s_y$

Dựa trên những quan sát, hình phạt được sử dụng trong GLMNET cần được nhân rộng bởi một yếu tố của .$s_y/N$

set.seed(123)

n    <- 1000
p   <-  100
X   <- matrix(rnorm(n*p,0,1),n,p)
beta <- rnorm(p,0,1)
Y    <- X%*%beta+rnorm(n,0,0.5)

sd_y <- sqrt(var(Y)*(n-1)/n)[1,1]

beta1 <- solve(t(X)%*%X+10*diag(p),t(X)%*%(Y))[,1]

fit_glmnet <- glmnet(X,Y, alpha=0, standardize = F, intercept = FALSE, thresh = 1e-20)
beta2 <- as.vector(coef(fit_glmnet, s = sd_y*10/n, exact = TRUE))[-1]
cbind(beta1[1:10], beta2[1:10])

           [,1]        [,2]
[1,]  0.23793862  0.23793862
[2,]  1.81859695  1.81859695
[3,] -0.06000195 -0.06000195
[4,] -0.04958695 -0.04958695
[5,]  0.41870613  0.41870613
[6,]  1.30244151  1.30244151
[7,]  0.06566168  0.06566168
[8,]  0.44634038  0.44634038
[9,]  0.86477108  0.86477108
[10,] -2.47535340 -2.47535340

Các kết quả tổng quát hóa để bao gồm một biến X chặn và tiêu chuẩn hóa. Chúng tôi sửa đổi ma trận X được tiêu chuẩn hóa để bao gồm một cột của ma trận và ma trận đường chéo để có thêm một mục nhập 0 ở vị trí [1,1] (nghĩa là không xử phạt chặn). Sau đó, bạn có thể không chuẩn hóa các ước tính bằng độ lệch chuẩn mẫu tương ứng của chúng (một lần nữa đảm bảo bạn đang sử dụng 1 / n khi tính toán độ lệch chuẩn).

$$\hat\beta_{j}=\frac{\tilde{\beta_j}}{s_{x_j}}$$

$$\hat\beta_{0}=\tilde{\beta_0}-\bar{x}^T\hat{\beta}$$

mean_x <- colMeans(X)
sd_x <- sqrt(apply(X,2,var)*(n-1)/n)
X_scaled <- matrix(NA, nrow = n, ncol = p)
for(i in 1:p){
    X_scaled[,i] <- (X[,i] - mean_x[i])/sd_x[i] 
}
X_scaled_ones <- cbind(rep(1,n), X_scaled)

beta3 <- solve(t(X_scaled_ones)%*%X_scaled_ones+1000*diag(x = c(0, rep(1,p))),t(X_scaled_ones)%*%(Y))[,1]
beta3 <- c(beta3[1] - crossprod(mean_x,beta3[-1]/sd_x), beta3[-1]/sd_x)

fit_glmnet2 <- glmnet(X,Y, alpha=0, thresh = 1e-20)
beta4 <- as.vector(coef(fit_glmnet2, s = sd_y*1000/n, exact = TRUE))

cbind(beta3[1:10], beta4[1:10])
             [,1]        [,2]
 [1,]  0.24534485  0.24534485
 [2,]  0.17661130  0.17661130
 [3,]  0.86993230  0.86993230
 [4,] -0.12449217 -0.12449217
 [5,] -0.06410361 -0.06410361
 [6,]  0.17568987  0.17568987
 [7,]  0.59773230  0.59773230
 [8,]  0.06594704  0.06594704
 [9,]  0.22860655  0.22860655
[10,]  0.33254206  0.33254206

Đã thêm mã để hiển thị X được chuẩn hóa mà không bị chặn:

set.seed(123)

n <- 1000
p <-  100
X <- matrix(rnorm(n*p,0,1),n,p)
beta <- rnorm(p,0,1)
Y <- X%*%beta+rnorm(n,0,0.5)

sd_y <- sqrt(var(Y)*(n-1)/n)[1,1]

mean_x <- colMeans(X)
sd_x <- sqrt(apply(X,2,var)*(n-1)/n)

X_scaled <- matrix(NA, nrow = n, ncol = p)
for(i in 1:p){
    X_scaled[,i] <- (X[,i] - mean_x[i])/sd_x[i] 
}

beta1 <- solve(t(X_scaled)%*%X_scaled+10*diag(p),t(X_scaled)%*%(Y))[,1]

fit_glmnet <- glmnet(X_scaled,Y, alpha=0, standardize = F, intercept = 
FALSE, thresh = 1e-20)
beta2 <- as.vector(coef(fit_glmnet, s = sd_y*10/n, exact = TRUE))[-1]
cbind(beta1[1:10], beta2[1:10])

             [,1]        [,2]
 [1,]  0.23560948  0.23560948
 [2,]  1.83469846  1.83469846
 [3,] -0.05827086 -0.05827086
 [4,] -0.04927314 -0.04927314
 [5,]  0.41871870  0.41871870
 [6,]  1.28969361  1.28969361
 [7,]  0.06552927  0.06552927
 [8,]  0.44576008  0.44576008
 [9,]  0.90156795  0.90156795
[10,] -2.43163420 -2.43163420

Theo https://web.stanford.edu/~hastie/glmnet/glmnet_alpha.html , khi gia đình là gaussian, glmnet()nên giảm thiểu

$$\frac{1}{2n} \sum_{i=1}^n (y_i-\beta_0-x_i^T\beta)^2 +\lambda\sum_{j=1}^p(\alpha|\beta_j| +(1-\alpha)\beta_j^2/2). \tag{1}$$

Khi sử dụng glmnet(x, y, alpha=1)để phù hợp với Lasso với các cột trong chuẩn hóa, giải pháp cho hình phạt được báo cáo là giải pháp để giảm thiểu Tuy nhiên, ít nhất là trong khi sử dụng để phù hợp với hồi quy sườn, giải pháp cho hình phạt được báo cáo là giải pháp để giảm thiểu trong đó là độ lệch chuẩn của . Ở đây, hình phạt nên được báo cáo là .$x$$\lambda$

$$\frac{1}{2n} \sum_{i=1}^n (y_i-\beta_0-x_i^T\beta)^2 +\lambda \sum_{j=1}^p |\beta_j|.$$ glmnet_2.0-13glmnet(x, y, alpha=0)$\lambda$ $$\frac{1}{2n} \sum_{i=1}^n (y_i-\beta_0-x_i^T\beta)^2 +\lambda \frac{1}{2s_y} \sum_{j=1}^p \beta_j^2.$$ $s_y$$y$$\lambda/s_y$

Điều có thể xảy ra là chức năng trước tiên chuẩn hóa thành và sau đó thu nhỏ có hiệu quả là giảm thiểu hoặc tương đương, để giảm thiểu $y$$y_0$

$$\frac{1}{2n} \sum_{i=1}^n (y_{0i}-x_i^T\gamma)^2 +\eta \sum_{j=1}^p(\alpha|\gamma_j| +(1-\alpha)\gamma_j^2/2), \tag{2}$$ $$\frac{1}{2n s_y^2} \sum_{i=1}^n (y_i-\beta_0-x_i^T\beta)^2 +\eta \frac{\alpha}{s_y} \sum_{j=1}^p |\beta_j| +\eta \frac{1-\alpha}{2s_y^2} \sum_{j=1}^p \beta_j^2,$$ $$\frac{1}{2n} \sum_{i=1}^n (y_i-\beta_0-x_i^T\beta)^2 +\eta s_y \alpha \sum_{j=1}^p |\beta_j| +\eta (1-\alpha) \sum_{j=1}^p \beta_j^2/2.$$

Đối với lasso ( ), thu nhỏ lại để báo cáo hình phạt vì có ý nghĩa. Sau đó, đối với tất cả , phải được báo cáo là hình phạt để duy trì tính liên tục của kết quả trên toàn bộ . Đây có lẽ là nguyên nhân của vấn đề trên. Điều này một phần là do sử dụng (2) để giải quyết (1). Chỉ khi hoặc có sự tương đương giữa các vấn đề (1) và (2) (nghĩa là sự tương ứng giữa trong (1) và trong (2)). Đối với bất kỳ$\alpha=1$$\eta$$\eta s_y$$\alpha$$\eta s_y$$\alpha$$\alpha=0$$\alpha=1$$\lambda$$\eta$$\alpha\in(0,1)$, các vấn đề (1) và (2) là hai vấn đề tối ưu hóa khác nhau và không có sự tương ứng một-một giữa trong (1) và trong (2).$\lambda$$\eta$