Ridge phạt GLMs bằng cách sử dụng hàng gia tăng?

Tôi đã đọc rằng có thể đạt được hồi quy sườn bằng cách thêm các hàng dữ liệu vào ma trận dữ liệu gốc, trong đó mỗi hàng được xây dựng bằng 0 cho các biến phụ thuộc và căn bậc hai của hoặc 0 cho các biến độc lập. Một hàng thêm sau đó được thêm vào cho mỗi biến độc lập.$k$

Tôi đã tự hỏi liệu có thể rút ra một bằng chứng cho tất cả các trường hợp, bao gồm cả hồi quy logistic hoặc GLM khác.

Ridge hồi quy giảm thiểu .$\sum_{i=1}^n (y_i-x_i^T\beta)^2+\lambda\sum_{j=1}^p\beta_j^2$

(Thông thường một hằng số là cần thiết, nhưng không phải teo tóp lại Trong trường hợp đó nó được bao gồm trong. và dự đoán - nhưng nếu bạn không muốn thu nhỏ nó, bạn không có một hàng tương ứng cho các quan sát giả Hoặc nếu. bạn muốn thu nhỏ nó, bạn làm có một hàng cho nó. tôi sẽ viết nó như thể nó không được tính trong p , và không teo tóp lại, vì nó là trường hợp phức tạp hơn. các trường hợp khác là một sự thay đổi nhỏ từ này. )$\beta$$p$

Chúng ta có thể viết các nhiệm kỳ thứ hai như giả quan sát nếu chúng ta có thể viết mỗi "y" và mỗi người trong số tương ứng ( p + 1 ) -vectors "x" như vậy$p$$(p+1)$

$(y_{n+j}-x_{n+j}^T\beta)^2=\lambda\beta_j^2\,,\quad j=1,\ldots,p$

Nhưng bằng cách kiểm tra, chỉ cần để , chúng ta hãy x n + j , j = $y_{n+j}=0$ và để cho tất cả khácx n + j , $x_{n+j,j}=\sqrt{\lambda}$ (kể cả x n + j , 0 = 0 thường).$x_{n+j,k}=0$$x_{n+j,0}=0$

Sau đó

.$(y_{n+j}-[x_{n+j,0}\beta_0+x_{n+j,1}\beta_1+x_{n+j,2}\beta_2+...+x_{n+j,p}\beta_p])^2=\lambda\beta_j^2$

Điều này làm việc cho hồi quy tuyến tính. Nó không hoạt động cho hồi quy logistic, bởi vì hồi quy logistic thông thường không giảm thiểu một phần dư bình phương.

[Hồi quy sườn không phải là điều duy nhất có thể được thực hiện thông qua các thủ thuật quan sát giả như vậy - chúng xuất hiện trong một số bối cảnh khác]

Việc khái quát hóa công thức này cho GLM thực sự không khó vì GLM thường phù hợp bằng cách sử dụng các bình phương tối thiểu lặp lại . Do đó, trong mỗi lần lặp, người ta có thể thực hiện bước bình phương tối thiểu có trọng số thông thường với một bước vuông bình phương có trọng số nhỏ nhất để có được một sườn núi bị phạt GLM. Trong thực tế, kết hợp với hình phạt sườn thích ứng, công thức này được sử dụng để phù hợp với GLM bị phạt L0 (hay còn gọi là tập hợp con tốt nhất, tức là GLM trong đó tổng số hệ số khác không bị phạt). Điều này đã được thực hiện ví dụ trong gói l0ara , xem bài viết này và bài này để biết chi tiết.

Cũng đáng lưu ý rằng cách thức nhanh nhất để giải quyết hồi quy sườn thông thường là sử dụng

lmridge_solve = function (X, y, lambda, intercept = TRUE) {
  if (intercept) {
    lambdas = c(0, rep(lambda, ncol(X)))
    X = cbind(1, X)
  } else { lambdas = rep(lambda, ncol(X)) }
  solve(crossprod(X) + diag(lambdas), crossprod(X, y))[, 1]
}

cho trường hợp n>=p, hoặc sử dụng

lmridge_solve_largep = function (X, Y, lambda) (t(X) %*% solve(tcrossprod(X)+lambda*diag(nrow(X)), Y))[,1]

khi p>nvà cho một mô hình mà không bị chặn.

Điều này nhanh hơn so với việc sử dụng công thức tăng cường hàng , tức là làm

lmridge_rbind = function (X, y, lambda, intercept = TRUE) {
  if (intercept) {
    lambdas = c(0, rep(lambda, ncol(X)))
    X = cbind(1, X)
  } else { lambdas = rep(lambda, ncol(X)) }
  qr.solve(rbind(X, diag(sqrt(lambdas))), c(y, rep(0, ncol(X))))
}

Nếu bạn có thể cần các ràng buộc không âm trên các hệ số được trang bị thì bạn có thể làm

library(nnls)

nnlmridge_solve = function (X, y, lambda, intercept = TRUE) {
  if (intercept) {
    lambdas = c(0, rep(lambda, ncol(X)))
    X = cbind(1, X)
  } else { lambdas = rep(lambda, ncol(X)) }
  nnls(A=crossprod(X)+diag(lambdas), b=crossprod(X,Y))$x
}

mà sau đó cho kết quả btw chính xác hơn một chút so với

nnlmridge_rbind = function (X, y, lambda, intercept = TRUE) {
  if (intercept) {
    lambdas = c(0, rep(lambda, ncol(X)))
    X = cbind(1, X)
  } else { lambdas = rep(lambda, ncol(X)) }
  nnls(A=rbind(X,diag(sqrt(lambdas))), b=c(Y,rep(0,ncol(X))))$x 
}

(và nói đúng ra chỉ có giải pháp nnls(A=crossprod(X)+diag(lambdas), b=crossprod(X,Y))$x thì mới đúng).

Tôi vẫn chưa tìm ra làm thế nào trường hợp bị hạn chế không âm thanh có thể được tối ưu hóa hơn nữa cho p > nvụ án - hãy cho tôi biết nếu có ai đó sẽ biết cách làm điều này ... [ lmridge_nnls_largep = function (X, Y, lambda) t(X) %*% nnls(A=tcrossprod(X)+lambda*diag(nrow(X)), b=Y)$xkhông hoạt động]