Bạn có thể đưa ra một lời giải thích trực quan đơn giản về phương pháp IRLS để tìm MLE của GLM không?

Lý lịch:

Tôi đang cố gắng theo dõi đánh giá của MLE về ước tính MLE cho GLM .

Tôi hiểu những điều cơ bản của dự MLE: likelihood, score, quan sát và dự kiến Fisher informationvà Fisher scoringkỹ thuật. Và tôi biết làm thế nào để chứng minh hồi quy tuyến tính đơn giản với ước lượng MLE .

---

Câu hỏi:

Tôi không thể hiểu ngay cả dòng đầu tiên của phương pháp này :(

Trực giác đằng sau các biến làm việc được định nghĩa là:$z_i$

$$z_i = \hat\eta_i + (y_i -\hat\mu_i)\frac{d\eta_i}{d\mu_i}$$

Tại sao chúng được sử dụng thay vì để ước tính ?$y_i$$\beta$

Và mối quan hệ của họ với mối quan hệ response/link functiongiữa $\eta$ và $\mu$

Nếu bất cứ ai có một lời giải thích đơn giản hoặc có thể hướng tôi đến một văn bản cấp cơ bản hơn về điều này, tôi sẽ rất biết ơn.

Vài năm trước tôi đã viết một bài báo về điều này cho các sinh viên của tôi (bằng tiếng Tây Ban Nha), vì vậy tôi có thể cố gắng viết lại những lời giải thích ở đây. Tôi sẽ xem xét IRLS (lặp lại các ô vuông nhỏ nhất) qua một loạt các ví dụ về độ phức tạp tăng dần. Ví dụ đầu tiên, chúng ta cần khái niệm về một gia đình quy mô địa điểm. Đặt $f_0$ là một hàm mật độ tập trung ở 0 trong một số ý nghĩa. Chúng ta có thể xây dựng một họ mật độ bằng cách xác định

$$f(x)= f(x;\mu,\sigma)= \frac{1}{\sigma} f_0\left(\frac{x-\mu}{\sigma}\right)$$ nơi$\sigma > 0$là một tham số quy mô và$\mu$là một tham số địa điểm. Trong mô hình lỗi đo lường, trong đó thông thường thuật ngữ lỗi được mô hình hóa như một phân phối bình thường, chúng ta có thể ở nơi phân phối bình thường đó sử dụng một họ quy mô vị trí như được xây dựng ở trên. Khi$f_0$là phân phối chuẩn chuẩn, xây dựng trên đưa ra$\text{N}(\mu, \sigma)$gia đình.

Bây giờ chúng tôi sẽ sử dụng IRLS trên một số ví dụ đơn giản. Đầu tiên chúng ta sẽ tìm thấy những ước lượng trong mô hình ML (tối đa khả năng)

$$Y_1,Y_2,\ldots,Y_n \hspace{1em} \text{i.i.d}$$ với mật độ $$f(y)= \frac{1}{\pi} \frac{1}{1+(y-\mu)^2},\hspace{1em} y\in{\mathbb R},$$ phân phối Cauchy gia đình vị trí$\mu$ (vì vậy đây là một gia đình địa điểm). Nhưng trước tiên một số ký hiệu. Công cụ ước lượng bình phương nhỏ nhất có trọng số của$\mu$ được cho bởi $$\mu^{\ast} = \frac{\sum_{i=1}^n w_i y_i} {\sum_{i=1}^n w_i}.$$ nơi$w_i$là một số trọng lượng. Chúng ta sẽ thấy rằng ước lượng ML của$\mu$có thể được thể hiện bằng các hình thức tương tự, với$w_i$một số chức năng của các số dư $$\epsilon_i = y_i-\hat{\mu}.$$ Hàm likelihood được cho bởi $$L(y;\mu)= \left(\frac{1}{\pi}\right)^n \prod_{i=1}^n \frac{1}{1+(y_i-\mu)^2}$$ và hàm loglikabilities được cho bởi $$l(y)= -n \log(\pi) - \sum_{i=1}^n \log\left(1+(y_i-\mu)^2\right).$$ Đạo hàm của nó đối với$\mu$là nơi εi=yi-μ. Viếtf0(ε)= $$\begin{eqnarray} \frac{\partial l(y)}{\partial \mu}&=& 0-\sum \frac{\partial}{\partial \mu} \log\left(1+(y_i-\mu)^2\right) \nonumber \\ &=& -\sum \frac{2(y_i-\mu)}{1+(y_i-\mu)^2}\cdot (-1) \nonumber \\ &=& \sum \frac{2 \epsilon_i}{1+\epsilon_i^2} \nonumber \end{eqnarray}$$ $\epsilon_i=y_i-\mu$ vàf ' 0 (ε)=$f_0(\epsilon)= \frac{1}{\pi} \frac{1}{1+\epsilon^2}$ , chúng tôi nhận f ' 0 (ε$f_0'(\epsilon)=\frac{1}{\pi} \frac{-1\cdot 2 \epsilon}{(1+\epsilon^2)^2}$ $$\frac{f_0'(\epsilon)}{f_0(\epsilon)} = \frac{\frac{-1 \cdot2\epsilon}{(1+\epsilon^2)^2}} {\frac{1}{1+\epsilon^2}} = -\frac{2\epsilon}{1+\epsilon^2}.$$ We find $$\begin{eqnarray} \frac {\partial l(y)} {\partial \mu} & =& -\sum \frac {f_0'(\epsilon_i)} {f_0(\epsilon_i)} \nonumber \\ &=& -\sum \frac {f_0'(\epsilon_i)} {f_0(\epsilon_i)} \cdot \left(-\frac{1}{\epsilon_i}\right) \cdot (-\epsilon_i) \nonumber \\ &=& \sum w_i \epsilon_i \nonumber \end{eqnarray}$$ where we used the definition $$w_i= \frac{f_0'(\epsilon_i)} {f_0(\epsilon_i)} \cdot \left(-\frac{1}{\epsilon_i}\right) = \frac{-2 \epsilon_i} {1+\epsilon_i^2} \cdot \left(-\frac{1}{\epsilon_i}\right) = \frac{2}{1+\epsilon_i^2}.$$ Remembering that $\epsilon_i=y_i-\mu$ we obtain the equation $$\sum w_i y_i = \mu \sum w_i,$$ which is the estimating equation of IRLS. Note that

1. The weights $w_i$ are always positive.
2. If the residual is large, we give less weight to the corresponding observation.

$\hat{\mu}^{(0)}$, we could use the median, for example. Using this value we calculate residuals

$$\epsilon_i^{(0)} = y_i - \hat{\mu}^{(0)}$$ and weights $$w_i^{(0)} = \frac{2}{1+\epsilon_i^{(0)} }.$$ The new value of $\hat{\mu}$ is given by $$\hat{\mu}^{(1)} = \frac{\sum w_i^{(0)} y_i} {\sum w_i^{(0)} }.$$ Continuing in this way we define $$\epsilon_i^{(j)} = y_i- \hat{\mu}^{(j)}$$ and $$w_i^{(j)} = \frac{2}{1+\epsilon_i^{(j)} }.$$ The estimated value at the pass $j+1$ of the algorithm becomes $$\hat{\mu}^{(j+1)} = \frac{\sum w_i^{(j)} y_i} {\sum w_i^{(j)} }.$$ Continuing until the sequence $$\hat{\mu}^{(0)}, \hat{\mu}^{(1)}, \ldots, \hat{\mu}^{(j)}, \ldots$$ converges.

Now we studies this process with a more general location and scale family, $f(y)= \frac{1}{\sigma} f_0(\frac{y-\mu}{\sigma})$, with less detail. Let $Y_1,Y_2,\ldots,Y_n$ be independent with the density above. Define also $\epsilon_i=\frac{y_i-\mu}{\sigma}$. The loglikelihood function is

$$l(y)= -\frac{n}{2}\log(\sigma^2) + \sum \log(f_0\left(\frac{y_i-\mu}{\sigma}\right)).$$ Writing $\nu=\sigma^2$, note that $$\frac{\partial \epsilon_i}{\partial \mu} = -\frac{1}{\sigma}$$ and $$\frac{\partial \epsilon_i}{\partial \nu} = (y_i-\mu)\left(\frac{1}{\sqrt{\nu}}\right)' = (y_i-\mu)\cdot \frac{-1}{2 \sigma^3}.$$ Calculating the loglikelihood derivative $$\frac{\partial l(y)}{\partial \mu} = \sum \frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \frac{\partial \epsilon_i}{\partial \mu} = \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot\left(-\frac{1}{\sigma}\right)= -\frac{1}{\sigma}\sum\frac{f_o'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \left(-\frac{1}{\epsilon_i}\right)(-\epsilon_i) = \frac{1}{\sigma}\sum w_i \epsilon_i$$ and equaling this to zero gives the same estimating equation as the first example. Then searching for an estimator for $\sigma^2$: $$\begin{eqnarray} \frac{\partial l(y)}{\partial \nu} &=& -\frac{n}{2}\frac{1}{\nu} + \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \frac{\partial \epsilon_i}{\partial\nu} \nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu}+\sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)} \cdot \left(-\frac{(y_i-\mu)}{2\sigma^3}\right) \nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu} - \frac{1}{2}\frac{1}{\sigma^2} \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \epsilon_i\nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu}-\frac{1}{2}\frac{1}{\nu} \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \left(-\frac{1}{\epsilon_i}\right) (-\epsilon_i)\cdot\epsilon_i\nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu}+\frac{1}{2}\frac{1}{\nu}\sum w_i \epsilon_i^2 \stackrel{!}{=} 0. \nonumber \end{eqnarray}$$ leading to the estimator $$\hat{\sigma^2} = \frac{1}{n}\sum w_i (y_i-\hat{\mu})^2.$$ The iterative algorithm above can be used in this case as well.

In the following we give a numerical examle using R, for the double exponential model (with known scale) and with data y <- c(-5,-1,0,1,5). For this data the true value of the ML estimator is 0. The initial value will be mu <- 0.5. One pass of the algorithm is

  iterest <- function(y, mu) {
               w <- 1/abs(y-mu)
               weighted.mean(y,w)
               }

with this function you can experiment with doing the iterations "by hand" Then the iterative algorithm can be done by

mu_0 <- 0.5
repeat {mu <- iterest(y,mu_0)
        if (abs(mu_0 - mu) < 0.000001) break
        mu_0 <- mu }

Exercise: If the model is a $t_k$ distribution with scale parameter $\sigma$ show the iterations are given by the weight

$$w_i = \frac{k+1}{k+\epsilon_i^2}.$$ Exercise: If the density is logistic, show the weights are given by $$w(\epsilon) = \frac{ 1-e^\epsilon}{1+e^\epsilon} \cdot - \frac{1}{\epsilon}.$$

For the moment I will leave it here, I will continue this post.