Tại sao sử dụng phương pháp của Newton để tối ưu hóa hồi quy logistic được gọi là bình phương tối thiểu trọng số lặp lại?

Tại sao sử dụng phương pháp của Newton để tối ưu hóa hồi quy logistic được gọi là bình phương tối thiểu trọng số lặp lại?

Nó dường như không rõ ràng với tôi bởi vì mất logistic và mất bình phương nhỏ nhất là những thứ hoàn toàn khác nhau.

Tóm tắt: GLM phù hợp thông qua chấm điểm của Fisher , như Dimitriy V. Masterov lưu ý, là Newton-Raphson với Hessian dự kiến ​​thay vào đó (nghĩa là chúng tôi sử dụng ước tính thông tin của Fisher thay vì thông tin quan sát được). Nếu chúng ta đang sử dụng chức năng liên kết chính tắc thì hóa ra Hessian được quan sát bằng với Hessian dự kiến ​​nên điểm NR và Fisher giống nhau trong trường hợp đó. Dù bằng cách nào, chúng ta sẽ thấy rằng điểm Fisher thực sự phù hợp với mô hình tuyến tính bình phương nhỏ nhất có trọng số và các ước tính hệ số từ mức này hội tụ * trên khả năng hồi quy logistic tối đa. Ngoài việc giảm sự phù hợp với hồi quy logistic cho một vấn đề đã được giải quyết, chúng tôi cũng nhận được lợi ích của việc có thể sử dụng chẩn đoán hồi quy tuyến tính trên phù hợp với WLS cuối cùng để tìm hiểu về hồi quy logistic của chúng tôi.

Tôi sẽ tập trung vào điều này vào hồi quy logistic, nhưng để có cái nhìn tổng quát hơn về khả năng tối đa trong GLM, tôi khuyên bạn nên sử dụng phần 15.3 của chương này và đưa IRLS vào một bối cảnh chung hơn (Tôi nghĩ rằng đó là từ Ứng dụng của John Fox Phân tích hồi quy và mô hình tuyến tính tổng quát ).

$^*$ Comments see ở cuối

---

Khả năng và điểm số chức năng

Chúng tôi sẽ phù hợp GLM của chúng tôi bằng cách lặp lại một cái gì đó có dạng nơi ℓ là khả năng đăng nhập và J

$$b^{(m+1)} = b^{(m)} - J^{-1}_{(m)}\nabla \ell(b^{(m)})$$ $\ell$$J_{m}$ sẽ là một trong hai Hessian quan sát hoặc dự kiến ​​của khả năng đăng nhập.

Chức năng liên kết của chúng tôi là một hàm mà các bản đồ các điều kiện trung bình μ i = E ( y i | x i ) để dự đoán tuyến tính của chúng tôi, vì vậy mô hình của chúng tôi cho giá trị trung bình là g ( μ i ) = x T i β . Để $g$$\mu_i = E(y_i | x_i)$$g(\mu_i) = x_i^T\beta$$h$ là hàm liên kết nghịch ánh xạ bộ dự báo tuyến tính thành giá trị trung bình.

Đối với một hồi quy logistic chúng ta có một khả năng độc lập với các quan sát để Bernoulli Lấy dẫn xuất, ∂

$$\ell(b; y) = \sum_{i=1}^n y_i\log h(x_i^T b) + (1 - y_i) \log(1 - h(x_i^Tb)).$$ $$\frac{\partial \ell}{\partial b_j} = \sum_{i=1}^n \frac{y_i}{h(x_i^T b)} h'(x_i^T b) x_{ij} - \frac{1 - y_i}{1 - h(x_i^T b)} h'(x_i^T b) x_{ij}$$ =∑ixijh′(x T i b $$= \sum_{i=1}^n x_{ij} h'(x_i^T b) \left(\frac{y_i}{h(x_i^T b)} - \frac{1 - y_i}{1 - h(x_i^T b)} \right)$$ $$= \sum_i x_{ij} \frac{h'(x_i^T b)}{h(x_i^T b)(1 - h(x_i^T b))}(y_i - h(x_i^T b)).$$

---

Sử dụng liên kết chính tắc

Bây giờ, giả sử chúng ta đang sử dụng chức năng liên kết chính tắc . Khi đó g - 1 c ( x ) : = h c ( x ) = $g_c = \text{logit}$ đểh ' c =hc⋅(1-hc)có nghĩa là đơn giản hoá này để ∂$g^{-1}_c(x) := h_c(x) = \frac{1}{1+e^{-x}}$$h_c' = h_c \cdot (1-h_c)$ nên ∇ℓ(b;y)=XT(y - y ). Bên cạnh đó, vẫn còn sử dụnghc, ∂2

$$\frac{\partial \ell}{\partial b_j} = \sum_i x_{ij} (y_i - h_c(x_i^T b))$$ $$\nabla \ell (b; y) = X^T (y - \hat y).$$ $h_c$ $$\frac{\partial^2 \ell}{\partial b_k \partial b_j} = - \sum_i x_{ij} \frac{\partial}{\partial b_k} h_c(x_i^T b) = - \sum_i x_{ij}x_{ik} \left[h_c(x_i^T b) (1 - h_c(x_i^T b))\right].$$

Đặt Sau đó, chúng ta có H=- X T WX và lưu ý làm thế nào điều này không còn y i trong đó nữa, vì vậyE(H)=H(chúng ta đang xem đây là một hàm củabnên điều duy nhất ngẫu nhiên làychinh no). Do đó, chúng tôi đã chỉ ra rằng việc chấm điểm của Fisher tương đương với Newton-Raphson khi chúng tôi sử dụng liên kết chính tắc trong hồi quy logistic. Cũng

$$W = \text{diag}\left(h_c(x_1^T b)(1 - h_c(x_1^T b)), \dots, h_c(x_n^T b)(1 - h_c(x_n^T b))\right) = \text{diag}\left(\hat y_1(1 - \hat y_1), \dots, \hat y_n (1 - \hat y_n)\right).$$ $$H = -X^TWX$$ $y_i$$E(H) = H$$b$$y$-XTWXsẽ luôn nghiêm tiêu cực nhất định, mặc dù số lượng nếu y itrở nên quá gần0hoặc1thì chúng ta có thể có trọng lượng tròn đến0mà có thể làm cho$\hat y_i \in (0,1)$ $-X^TWX$$\hat y_i$$0$$1$$0$$H$ semidefinite tiêu cực và do đó tính toán số ít.

Bây giờ tạo ra làm việc đáp ứng và lưu ý rằng ∇ ℓ = X T ( y - y ) = X T W z $z = W^{-1}(y - \hat y)$

$$\nabla \ell = X^T(y - \hat y) = X^T W z.$$

Tất cả cùng nhau điều này có nghĩa là chúng ta có thể tối ưu hóa khả năng đăng nhập bằng cách lặp lại và ( X T W ( m ) X ) - 1 X T W ( m ) z (

$$b^{(m+1)} = b^{(m)} + (X^T W_{(m)} X)^{-1}X^T W_{(m)} z_{(m)}$$ $(X^T W_{(m)} X)^{-1}X^T W_{(m)} z_{(m)}$$\hat \beta$$z_{(m)}$$X$

Kiểm tra điều này trong R:

set.seed(123)
p <- 5
n <- 500
x <- matrix(rnorm(n * p), n, p)
betas <- runif(p, -2, 2)
hc <- function(x) 1 /(1 + exp(-x)) # inverse canonical link
p.true <- hc(x %*% betas)
y <- rbinom(n, 1, p.true)

# fitting with our procedure
my_IRLS_canonical <- function(x, y, b.init, hc, tol=1e-8) {
  change <- Inf
  b.old <- b.init
  while(change > tol) {
    eta <- x %*% b.old  # linear predictor
    y.hat <- hc(eta)
    h.prime_eta <- y.hat * (1 - y.hat)
    z <- (y - y.hat) / h.prime_eta

    b.new <- b.old + lm(z ~ x - 1, weights = h.prime_eta)$coef  # WLS regression
    change <- sqrt(sum((b.new - b.old)^2))
    b.old <- b.new
  }
  b.new
}

my_IRLS_canonical(x, y, rep(1,p), hc)
# x1         x2         x3         x4         x5 
# -1.1149687  2.1897992  1.0271298  0.8702975 -1.2074851

glm(y ~ x - 1, family=binomial())$coef
# x1         x2         x3         x4         x5 
# -1.1149687  2.1897992  1.0271298  0.8702975 -1.2074851 

và họ đồng ý.

---

Các hàm liên kết không chính tắc

$\frac{h'}{h(1-h)} = 1$ in $\nabla \ell$ so $H$ becomes much more complicated, and we therefore see a noticeable difference by using $E(H)$ in our Fisher scoring.

Here's how this will go: we already worked out the general $\nabla \ell$ so the Hessian will be the main difficulty. We need

$$\frac{\partial^2 \ell}{\partial b_k \partial b_j} = \sum_i x_{ij} \frac{\partial}{\partial b_k}h'(x_i^T b) \left(\frac{y_i}{h(x_i^T b)} - \frac{1 - y_i}{1 - h(x_i^T b)} \right)$$ $$= \sum_i x_{ij}x_{ik} \left[h''(x_i^T b) \left(\frac{y_i}{h(x_i^T b)} - \frac{1 - y_i}{1 - h(x_i^T b)} \right) - h'(x_i^T b)^2\left(\frac{y_i}{h(x_i^T b)^2} + \frac{1-y_i}{(1-h(x_i^T b))^2} \right)\right]$$

Via the linearity of expectation all we need to do to get $E(H)$ is replace each occurrence of $y_i$ with its mean under our model which is $\mu_i=h(x_i^T\beta)$. Each term in the summand will therefore contain a factor of the form

$$h''(x_i^T b) \left(\frac{h(x_i^T \beta)}{h(x_i^T b)} - \frac{1 - h(x_i^T \beta)}{1 - h(x_i^T b)} \right) - h'(x_i^T b)^2\left(\frac{h(x_i^T \beta)}{h(x_i^T b)^2} + \frac{1-h(x_i^T \beta)}{(1-h(x_i^T b))^2} \right).$$ But to actually do our optimization we'll need to estimate each $\beta$, and at step $m$ $b^{(m)}$ is the best guess we have. This means that this will reduce to $$h''(x_i^T b) \left(\frac{h(x_i^T b)}{h(x_i^T b)} - \frac{1 - h(x_i^T b)}{1 - h(x_i^T b)} \right) - h'(x_i^T b)^2\left(\frac{h(x_i^T b)}{h(x_i^T b)^2} + \frac{1-h(x_i^T b)}{(1-h(x_i^T b))^2} \right)$$ $$= - h'(x_i^T b)^2\left(\frac{1}{h(x_i^T b)} + \frac{1}{1-h(x_i^T b)} \right)$$ $$= -\frac{h'(x_i^T b)^2}{h(x_i^T b)(1-h(x_i^T b))}.$$ This means we will use $J$ with $$J_{jk} = -\sum_i x_{ij}x_{ik} \frac{h'(x_i^T b)^2}{h(x_i^T b)(1-h(x_i^T b))}.$$

Now let

$$W^* = \text{diag}\left(\frac{h'(x_1^T b)^2}{h(x_1^T b)(1-h(x_1^T b))} ,\dots, \frac{h'(x_n^T b)^2}{h(x_n^T b)(1-h(x_n^T b))}\right)$$ and note how under the canonical link $h_c' = h_c \cdot (1-h_c)$ reduces $W^*$ to $W$ from the previous section. This lets us write $$J = -X^TW^*X$$ except this is now $\hat E(H)$ rather than necessarily being $H$ itself, so this can differ from Newton-Raphson. For all $i$ $W_{ii}^* > 0$ so aside from numerical issues $J$ will be negative definite.

We have

$$\frac{\partial \ell}{\partial b_j} = \sum_i x_{ij} \frac{h'(x_i^T b)}{h(x_i^T b)(1 - h(x_i^T b))}(y_i - h(x_i^T b))$$ so letting our new working response be $z^* = D^{-1}(y-\hat y)$ with $D=\text{diag}\left(h'(x_1^T b), \dots, h'(x_n^T b)\right)$, we have $\nabla \ell = X^TW^*z^*$.

All together we are iterating

$$b^{(m+1)} = b^{(m)} + (X^T W_{(m)}^* X)^{-1}X^T W_{(m)}^* z_{(m)}^*$$ so this is still a sequence of WLS regressions except now it's not necessarily Newton-Raphson.

---

I've written it out this way to emphasize the connection to Newton-Raphson, but frequently people will factor the updates so that each new point $b^{(m+1)}$ is itself the WLS solution, rather than a WLS solution added to the current point $b^{(m)}$. If we wanted to do this, we can do the following:

$$b^{(m+1)} = b^{(m)} + (X^T W_{(m)}^* X)^{-1}X^T W_{(m)}^* z_{(m)}^*$$ $$= (X^T W_{(m)}^* X)^{-1}\left(X^T W_{(m)}^* Xb^{(m)}+ X^TW^*_{(m)}z_{(m)}^* \right)$$ $$= (X^T W_{(m)}^* X)^{-1}X^TW_{(m)}^*\left(Xb^{(m)}+ z_{(m)}^* \right)$$ so if we're going this way you'll see the working response take the form $\eta^{(m)} + D^{-1}_{(m)}(y - \hat y^{(m)})$, but it's the same thing.

---

Let's confirm that this works by using it to perform a probit regression on the same simulated data as before (and this is not the canonical link, so we need this more general form of IRLS).

my_IRLS_general <- function(x, y, b.init, h, h.prime, tol=1e-8) {
  change <- Inf
  b.old <- b.init
  while(change > tol) {
    eta <- x %*% b.old  # linear predictor
    y.hat <- h(eta)
    h.prime_eta <- h.prime(eta)
    w_star <- h.prime_eta^2 / (y.hat * (1 - y.hat))
    z_star <- (y - y.hat) / h.prime_eta

    b.new <- b.old + lm(z_star ~ x - 1, weights = w_star)$coef  # WLS

    change <- sqrt(sum((b.new - b.old)^2))
    b.old <- b.new
  }
  b.new
}

# probit inverse link and derivative
h_probit <- function(x) pnorm(x, 0, 1)
h.prime_probit <- function(x) dnorm(x, 0, 1)

my_IRLS_general(x, y, rep(0,p), h_probit, h.prime_probit)
# x1         x2         x3         x4         x5 
# -0.6456508  1.2520266  0.5820856  0.4982678 -0.6768585 

glm(y~x-1, family=binomial(link="probit"))$coef
# x1         x2         x3         x4         x5 
# -0.6456490  1.2520241  0.5820835  0.4982663 -0.6768581 

and again the two agree.

---

Comments on convergence

Finally, a few quick comments on convergence (I'll keep this brief as this is getting really long and I'm no expert at optimization). Even though theoretically each $J_{(m)}$ is negative definite, bad initial conditions can still prevent this algorithm from converging. In the probit example above, changing the initial conditions to b.init=rep(1,p) results in this, and that doesn't even look like a suspicious initial condition. If you step through the IRLS procedure with that initialization and these simulated data, by the second time through the loop there are some $\hat y_i$ that round to exactly $1$ and so the weights become undefined. If we're using the canonical link in the algorithm I gave we won't ever be dividing by $\hat y_i (1 - \hat y_i)$ to get undefined weights, but if we've got a situation where some $\hat y_i$ are approaching $0$ or $1$, such as in the case of perfect separation, then we'll still get non-convergence as the gradient dies without us reaching anything.