Thuật toán tối ưu hóa nào được sử dụng trong hàm glm trong R?

Người ta có thể thực hiện hồi quy logit trong R bằng cách sử dụng mã như vậy:

> library(MASS)
> data(menarche)
> glm.out = glm(cbind(Menarche, Total-Menarche) ~ Age,
+                                              family=binomial(logit), data=menarche)
> coefficients(glm.out)
(Intercept)         Age 
 -21.226395    1.631968

Có vẻ như thuật toán tối ưu hóa đã hội tụ - có thông tin về số bước của thuật toán chấm điểm câu cá:

Call:
glm(formula = cbind(Menarche, Total - Menarche) ~ Age, family = binomial(logit), 
    data = menarche)

Deviance Residuals: 
    Min       1Q   Median       3Q      Max  
-2.0363  -0.9953  -0.4900   0.7780   1.3675  

Coefficients:
             Estimate Std. Error z value Pr(>|z|)    
(Intercept) -21.22639    0.77068  -27.54   <2e-16 ***
Age           1.63197    0.05895   27.68   <2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

(Dispersion parameter for binomial family taken to be 1)

    Null deviance: 3693.884  on 24  degrees of freedom
Residual deviance:   26.703  on 23  degrees of freedom
AIC: 114.76

Number of Fisher Scoring iterations: 4

Tôi tò mò về thuật toán tối ưu nó là gì? Có phải là thuật toán Newton-Raphson (giảm độ dốc bậc hai) không? Tôi có thể đặt một số tham số để sử dụng thuật toán Cauchy (giảm độ dốc bậc một) không?

Bạn sẽ thấy thú vị khi biết rằng tài liệu cho glm, được truy cập thông qua ?glmcung cấp nhiều thông tin chi tiết hữu ích: theo methodchúng tôi thấy rằng bình phương tối thiểu lặp lại là phương thức mặc định cho glm.fit, đó là hàm workhorse cho glm. Ngoài ra, tài liệu đề cập rằng các chức năng do người dùng xác định có thể được cung cấp ở đây, thay vì mặc định.

Phương thức được sử dụng được đề cập trong chính đầu ra: đó là Ghi điểm. Điều này tương đương với Newton-Raphson trong hầu hết các trường hợp. Ngoại lệ là các tình huống mà bạn đang sử dụng các tham số hóa không tự nhiên. Hồi quy rủi ro tương đối là một ví dụ về kịch bản như vậy. Ở đó, thông tin dự kiến ​​và quan sát là khác nhau. Nhìn chung, Newton Raphson và Fisher chấm điểm cho kết quả gần như giống hệt nhau.

$p$$p(1-p)$Chấm điểm. Ngoài ra, nó cung cấp một số trực giác tốt cho thuật toán EM, một khung tổng quát hơn để ước tính các khả năng phức tạp.

Trình tối ưu hóa chung mặc định trong R sử dụng các phương thức số để ước tính giây thứ hai, về cơ bản dựa trên tuyến tính hóa (hãy cảnh giác với lời nguyền của chiều). Vì vậy, nếu bạn quan tâm đến việc so sánh hiệu quả và thiên vị, bạn có thể thực hiện một thói quen khả năng tối đa logistic ngây thơ với một cái gì đó như

set.seed(1234)
x <- rnorm(1000)
y <- rbinom(1000, 1, exp(-2.3 + 0.1*x)/(1+exp(-2.3 + 0.1*x)))
f <- function(b) {
  p <- exp(b[1] + b[2]*x)/(1+exp(b[1] + b[2]*x))
  -sum(dbinom(y, 1, p, log=TRUE))
}
ans <- nlm(f, p=0:1, hessian=TRUE)

đưa cho tôi

> ans$estimate
[1] -2.2261225  0.1651472
> coef(glm(y~x, family=binomial))
(Intercept)           x 
 -2.2261215   0.1651474 

Đối với bản ghi, việc triển khai R đơn giản của thuật toán glm R, dựa trên tính điểm của Fisher (bình phương tối thiểu lặp lại), như được giải thích trong câu trả lời khác được đưa ra bởi:

glm_irls = function(X, y, weights=rep(1,nrow(X)), family=poisson(log), maxit=25, tol=1e-16) {
    if (!is(family, "family")) family = family()
    variance = family$variance
    linkinv = family$linkinv
    mu.eta = family$mu.eta
    etastart = NULL

    nobs = nrow(X)    # needed by the initialize expression below
    nvars = ncol(X)   # needed by the initialize expression below
    eval(family$initialize) # initializes n and fitted values mustart
    eta = family$linkfun(mustart) # we then initialize eta with this
    dev.resids = family$dev.resids
    dev = sum(dev.resids(y, linkinv(eta), weights))
    devold = 0
    beta_old = rep(1, nvars)

    for(j in 1:maxit)
    {
      mu = linkinv(eta) 
      varg = variance(mu)
      gprime = mu.eta(eta)
      z = eta + (y - mu) / gprime # potentially -offset if you would have an offset argument as well
      W = weights * as.vector(gprime^2 / varg)
      beta = solve(crossprod(X,W*X), crossprod(X,W*z), tol=2*.Machine$double.eps)
      eta = X %*% beta # potentially +offset if you would have an offset argument as well
      dev = sum(dev.resids(y, mu, weights))
      if (abs(dev - devold) / (0.1 + abs(dev)) < tol) break
      devold = dev
      beta_old = beta
    }
    list(coefficients=t(beta), iterations=j)
}

Thí dụ:

## Dobson (1990) Page 93: Randomized Controlled Trial :
y <- counts <- c(18,17,15,20,10,20,25,13,12)
outcome <- gl(3,1,9)
treatment <- gl(3,3)
X <- model.matrix(counts ~ outcome + treatment)

coef(glm.fit(x=X, y=y, family = poisson(log))) 
  (Intercept)      outcome2      outcome3    treatment2    treatment3 
 3.044522e+00 -4.542553e-01 -2.929871e-01 -7.635479e-16 -9.532452e-16

coef(glm_irls(X=X, y=y, family=poisson(log)))
     (Intercept)   outcome2   outcome3    treatment2   treatment3
[1,]    3.044522 -0.4542553 -0.2929871 -3.151689e-16 -8.24099e-16

Một cuộc thảo luận tốt về các thuật toán phù hợp GLM, bao gồm so sánh với Newton-Raphson (sử dụng Hessian được quan sát trái ngược với Hessian dự kiến ​​trong thuật toán IRLS) và các thuật toán lai (bắt đầu bằng IRLS, vì chúng dễ khởi tạo hơn, nhưng sau đó kết thúc với tối ưu hóa hơn nữa bằng cách sử dụng Newton-Raphson) trong cuốn sách "Các mô hình tuyến tính tổng quát và các phần mở rộng" của James W. Hardin & Joseph M. Hilbe .