Trong một GLM, khả năng đăng nhập của mô hình bão hòa luôn bằng không?

Là một phần của đầu ra của một mô hình tuyến tính tổng quát, độ lệch rỗng và độ lệch còn lại được sử dụng để đánh giá mô hình. Tôi thường thấy các công thức cho các đại lượng này được biểu thị theo khả năng ghi nhật ký của mô hình bão hòa, ví dụ: /stats//a/113022/22199 , Hồi quy logistic: Cách lấy mô hình bão hòa

Mô hình bão hòa, theo như tôi hiểu, là mô hình hoàn toàn phù hợp với phản ứng quan sát được. Do đó, ở hầu hết các nơi tôi đã thấy, khả năng đăng nhập của mô hình bão hòa luôn được đưa ra bằng không.

Tuy nhiên, cách công thức cho sự sai lệch được đưa ra cho thấy rằng đôi khi số lượng này là không. (Như thể nó luôn bằng 0, tại sao phải bận tâm đến nó?)

Trong trường hợp nào nó có thể khác không? Nếu nó không bao giờ khác không, tại sao lại đưa nó vào công thức cho sự lệch lạc?

— Alex
nguồn

Câu trả lời:

Nếu bạn thực sự có nghĩa là khả năng đăng nhập , thì câu trả lời là: không phải lúc nào cũng bằng không.

Ví dụ, hãy xem xét dữ liệu Poisson: $y_i \sim \text{Poisson}(\mu_i), i = 1, \ldots, n$ . Các loga cho $Y = (y_1, \ldots, y_n)$ được cho bởi:

\begin{matrix} (*) & ℓ (μ; Y) = - \sum_{i = 1}^{n} μ_{i} + \sum_{i = 1}^{n} y_{i} \log μ_{i} - \sum_{i = 1}^{n} \log (y_{i}!) . \end{matrix}

$\ell(\mu; Y) = -\sum_{i = 1}^n \mu_i + \sum_{i = 1}^n y_i \log \mu_i - \sum_{i = 1}^n \log(y_i!). \tag{$*$}$

Phân biệt $\ell(\mu; Y)$ trong $(*)$ liên quan đến $\mu_i$ và đặt nó là $0$ (đây là cách chúng tôi có được MLE cho mô hình bão hòa):

- 1 + \frac{y_{i}}{μ_{i}} = 0.

$-1 + \frac{y_i}{\mu_i} = 0.$ Giải quyết này cho

μ_{i}

$\mu_i$ để có được

, thay

trở lại

cho

cho rằng loga của mô hình bão hòa là:

{\hat{μ}}_{i} = y_{i}

$\hat{\mu}_i = y_i$

{\hat{μ}}_{i}

$\hat{\mu}_i$

(*)

$(*)$

μ_{i}

$\mu_i$

ℓ (\hat{μ}; Y) = \sum_{i = 1}^{n} y_{i} (\log y_{i} - 1) - \sum_{i = 1}^{n} \log (y_{i}!) \neq 0

$\ell(\hat{\mu}; Y) = \sum_{i = 1}^n y_i(\log y_i - 1) -\sum_{i = 1}^n \log(y_i!) \neq 0$ trừ khi

y_{i}

$y_i$ lấy các giá trị rất đặc biệt.

Trong trang trợ giúp của Rchức năng glm, bên dưới mục deviance, tài liệu giải thích vấn đề này như sau:

deviance lên đến một hằng số, trừ hai lần khả năng đăng nhập tối đa. Trong trường hợp hợp lý, hằng số được chọn sao cho mô hình bão hòa có độ lệch bằng không.

Lưu ý rằng nó đã đề cập rằng độ lệch , thay vì khả năng đăng nhập của mô hình bão hòa được chọn là 0.

Có lẽ, điều bạn thực sự muốn xác nhận là "độ lệch của mô hình bão hòa luôn luôn là 0", điều này đúng, theo định nghĩa, theo định nghĩa (xem Phần 4.5.1 của Phân tích dữ liệu phân loại (Ấn bản 2) của Alan Agresti) là thống kê tỷ lệ khả năng của một GLM được chỉ định cho mô hình bão hòa. Những điều đã constantnói ở trên trong tài liệu R thực sự gấp đôi khả năng đăng nhập tối đa của mô hình bão hòa.

Về tuyên bố của bạn "Tuy nhiên, cách thức đưa ra công thức cho sự lệch lạc cho thấy rằng đôi khi số lượng này không phải là số không.", Có lẽ là do lạm dụng việc sử dụng thuật ngữ sai lệch . Ví dụ, trong R, thống kê tỷ lệ khả năng so sánh hai mô hình tùy ý (lồng nhau) và cũng được gọi là độ lệch, được gọi chính xác hơn là sự khác biệt giữa độ lệch của và độ lệch của , nếu chúng ta theo sát định nghĩa như được đưa ra trong cuốn sách của Agresti. $M_1$ $M_2$ $M_1$ $M_2$

Phần kết luận

Khả năng đăng nhập của mô hình bão hòa nói chung là khác không.
Độ lệch (theo định nghĩa ban đầu của nó) của mô hình bão hòa là bằng không.
Đầu ra sai lệch từ các phần mềm (như R) nói chung là khác không vì nó thực sự có nghĩa là một cái gì đó khác (sự khác biệt giữa các độ lệch).

Sau đây là đạo hàm cho trường hợp gia đình hàm mũ và một ví dụ cụ thể khác. Giả sử rằng dữ liệu đến từ gia đình mũ (xem Modern Thống Kê Ứng Dụng với S , Chương ): $7$

\begin{matrix} (1) & f (y_{i}; θ_{i}, φ) = \exp [A_{i} (y_{i} θ_{i} - γ (θ_{i})) / φ + τ (y_{i}, φ / A_{i})] . \end{matrix}

$f(y_i; \theta_i, \varphi) = \exp[A_i(y_i\theta_i - \gamma(\theta_i))/\varphi + \tau(y_i, \varphi/A_i)]. \tag{1}$ Trong đó

được biết các trọng số trước và

là tham số phân tán / tỷ lệ (đối với nhiều trường hợp như nhị thức và Poisson, tham số này được biết đến, trong khi đối với các trường hợp khác như bình thường và Gamma, tham số này không xác định). Sau đó, loga được cho bởi:

A_{i}

$A_i$

φ

$\varphi$

Như trong ví dụ Poisson, các tham số của mô hình bão hòa có thể được ước tính bằng cách giảihàmsố điểmsau:

ℓ (θ, φ; Y) = \sum_{i = 1}^{n} A_{i} (y_{i} θ_{i} - γ (θ_{i})) / φ + \sum_{i = 1}^{n} τ (y_{i}, φ / A_{i}) .

$\ell(\theta, \varphi; Y) = \sum_{i = 1}^n A_i(y_i \theta_i - \gamma(\theta_i))/\varphi + \sum_{i = 1}^n \tau(y_i, \varphi/A_i).$

0 = U (θ_{i}) = \frac{\partial ℓ (θ, φ; Y)}{\partial θ_{i}} = \frac{A_{i} (y_{i} - γ^{'} (θ_{i}))}{φ}

$0 = U(\theta_i) = \frac{\partial \ell(\theta, \varphi; Y)}{\partial \theta_i} = \frac{A_i(y_i - \gamma'(\theta_i))}{\varphi}$

$\hat{\theta}_i$

\begin{matrix} (* *) & ℓ (\hat{θ}, φ; Y) = \sum_{i = 1}^{n} A_{i} (y_{i} {\hat{θ}}_{i} - γ ({\hat{θ}}_{i})) / φ + \sum_{i = 1}^{n} τ (y_{i}, φ / A_{i}) . \end{matrix}

$\ell(\hat{\theta}, \varphi; Y) = \sum_{i = 1}^n A_i(y_i \hat{\theta}_i - \gamma(\hat{\theta}_i))/\varphi + \sum_{i = 1}^n \tau(y_i, \varphi/A_i). \tag{$**$}$

$(**)$ $\Gamma(\alpha, \beta)$

f (y; α, β) = \frac{β^{α}}{Γ (α)} e^{- β y} y^{α - 1}, y > 0, α > 0, β > 0,

$f(y; \alpha, \beta) = \frac{\beta^\alpha}{\Gamma(\alpha)}e^{-\beta y}y^{\alpha - 1}, \quad y > 0, \alpha > 0, \beta > 0,$

f

$f$

(1)

$(1)$

φ = \frac{1}{α}, θ = - \frac{β}{α},

$\varphi = \frac{1}{\alpha},\, \theta = -\frac{\beta}{\alpha},$

f

$f$

f (y; θ, φ) = = điểm kinh nghiệm [\frac{θ y - (- đăng nhập (- θ))}{φ} + τ (y, φ)],

$f(y; \theta, \varphi) = \exp\left[\frac{\theta y - (-\log(-\theta))}{\varphi}+ \tau(y, \varphi)\right],$

τ (y, φ) = = - \frac{đăng nhập φ}{φ} + (\frac{1}{φ} - 1) đăng nhập y - đăng nhập Γ (φ^{- 1}) .

$\tau(y, \varphi) = -\frac{\log \varphi}{\varphi} + \left(\frac{1}{\varphi} - 1\right)\log y - \log\Gamma(\varphi^{-1}).$

{\hat{θ}}_{i} = - \frac{1}{y_{i}}

$\hat{\theta}_i = -\frac{1}{y_i}$

\sum_{i = 1}^{n} \frac{1}{φ} [{\hat{θ}}_{i} y_{i} - (- \log (- {\hat{θ}}_{i}))] = \sum_{i = 1}^{n} \frac{1}{φ} [- 1 - \log (y_{i})] \neq 0,

$\sum_{i = 1}^n \frac{1}{\varphi}[\hat{\theta}_iy_i - (-\log(-\hat{\theta}_i))] = \sum_{i = 1}^n \frac{1}{\varphi}[-1 - \log(y_i)] \neq 0,$

y_{i}

$y_i$

— Tràn Tây
nguồn

Là loglikabilities bằng 0 và chỉ khi mô hình có thể gán xác suất 100% cho mỗi kết quả có thể xảy ra?

— Alex

0

$0$

τ

$\tau$

0

$0$

Nguồn gốc của bạn là rất tốt nhưng bằng chứng chính thức là một chút trên đầu của tôi tại thời điểm này. Cảm ơn bạn cho ví dụ của bạn với mô hình Poisson. Điều tôi lấy ra từ ví dụ này là mô hình Poisson không thể gán xác suất 100% cho kết quả quan sát được với bất kỳ giá trị nào cho giá trị trung bình Poisson, do đó khả năng không thể bằng không.

— Alex

100 %

$100\%$

y_{1}, \dots, y_{n}

$y_1, \ldots, y_n$

Y

$Y$

P (Y = y_{1}) + P (Y = y_{2}) + \dots + P (Y = y_{n}) < 1

$P(Y= y_1) + P(Y = y_2) + \cdots + P(Y = y_n) < 1$

Y

$Y$

P (Y = y_{i}) < 1

$P(Y = y_i) < 1$

i

$i$

$0$

\begin{matrix} (1) & L (y; X, β) = \prod_{i = 1}^{n} f (y_{i}; x_{i}, β) = \prod_{i = 1}^{n} π_{i}^{y_{i}} (1 - π_{i})^{1 - y_{i}} = \prod_{i = 1}^{n} {(\frac{π_{i}}{1 - π_{i}})}^{y_{i}} (1 - π_{i}) \end{matrix}

$L(\mathbf{y} ; \mathbf{X}, \boldsymbol{\beta}) = \prod_{i=1}^n f(y_i ; \mathbf{x}_i, \boldsymbol{\beta}) = \prod_{i=1}^n \pi_i^{y_i}(1-\pi_i)^{1-y_i} = \prod_{i=1}^n\left( \frac{\pi_i}{1-\pi_i}\right)^{y_i} (1 - \pi_i) \tag{1}$

π_{i} = invlogit (x_{i}^{⊺} β)

$\pi_i = \text{invlogit}(\mathbf{x}_i^\intercal \boldsymbol{\beta} )$

\begin{aligned} \log L (y; X, β) & = \sum_{i = 1}^{n} y_{i} \log (\frac{π_{i}}{1 - π_{i}}) + \log (1 - π_{i}) \\ = \sum_{i = 1}^{n} y_{i} logit (π_{i}) + \log (1 - π_{i}) \\ = \sum_{i = 1}^{n} y_{i} x_{i}^{⊺} β + \log (1 - invlogit (x_{i}^{⊺} β)) \\ = \sum_{i = 1}^{n} y_{i} x_{i}^{⊺} β + \log (invlogit (- x_{i}^{⊺} β)) \\ = \sum_{i = 1}^{n} y_{i} x_{i}^{⊺} β - \log (1 + \exp [x_{i}^{⊺} β])) \end{aligned}

$\begin{align*} \log L(\mathbf{y} ; \mathbf{X}, \boldsymbol{\beta}) &= \sum_{i=1}^n y_i \log \left( \frac{\pi_i}{1-\pi_i}\right) + \log(1-\pi_i) \\ &= \sum_{i=1}^n y_i \text{logit} \left( \pi_i \right) + \log(1-\pi_i) \\ &= \sum_{i=1}^n y_i \mathbf{x}_i^\intercal \boldsymbol{\beta} + \log( 1 - \text{invlogit}(\mathbf{x}_i^\intercal \boldsymbol{\beta} )) \\ &= \sum_{i=1}^n y_i \mathbf{x}_i^\intercal \boldsymbol{\beta} + \log( \text{invlogit}( - \mathbf{x}_i^\intercal \boldsymbol{\beta} )) \\ &= \sum_{i=1}^n y_i \mathbf{x}_i^\intercal \boldsymbol{\beta} - \log( 1 + \exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}] )) \end{align*}$

If you take the derivatives with respect to all of the coefficients you get

\begin{matrix} (2) & \nabla ℓ (β) = \sum_{i = 1}^{n} y_{i} x_{i} - \frac{\exp [x_{i}^{⊺} β]}{(1 + \exp [x_{i}^{⊺} β])} x_{i} . \end{matrix}

$\nabla \ell(\boldsymbol{\beta}) = \sum_{i=1}^n y_i \mathbf{x}_i - \frac{\exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}]}{( 1 + \exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}] ) }\mathbf{x}_i \tag{2}.$

Setting this expression equal to $\mathbf{0}$ and solving for $\boldsymbol{\beta}$ will give you your answer. Usually this can't be done analytically, which explains the popularity/necessity of using iterative algorithms to fit this model, but in the case of a saturated model, it is possible.

To find the saturated model, we give each row it's own coefficent. So $\boldsymbol{\beta} \in \mathbb{R}^n$ and the design matrix times the coefficient vector is

X β = [\begin{matrix} 1 & 0 & \dots & 0 \\ 0 & 1 & \dots & 0 \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 0 & 0 & \dots & 1 \end{matrix}] [\begin{matrix} β_{1} \\ β_{2} \\ ⋮ \\ β_{n} \end{matrix}] .

$\mathbf{X}\boldsymbol{\beta} = \begin{bmatrix} 1 & 0 & \cdots & 0\\ 0 & 1 & \cdots & 0\\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & 1\\ \end{bmatrix} \begin{bmatrix} \beta_1 \\ \beta_2 \\ \vdots \\ \beta_n \end{bmatrix}.$

Note that in particular, $\mathbf{x}_i^\intercal \boldsymbol{\beta} = \beta_i$ .

So taking the $j$ th row of equation (2) gives us

\sum_{i = 1}^{n} y_{i} x_{i, j} = \sum_{i = 1}^{n} \frac{\exp [x_{i}^{⊺} β]}{(1 + \exp [x_{i}^{⊺} β])} x_{i, j}

$\sum_{i=1}^n y_i x_{i,j} = \sum_{i=1}^n\frac{\exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}]}{( 1 + \exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}] ) }x_{i,j}$

which can only be true if for each observation $i$ :

y_{i} = invlogit (β_{i})

$y_i = \text{invlogit}(\beta_i )$ or in other words each

β_{i}

$\beta_i$ is plus or minus infinity (if

y_{i}

$y_i$ is

1

$1$ or

0

$0$ , respectively). We can plug these parameters back into (1) to get the maximized likelihood:

\prod_{i = 1}^{n} {\hat{π}}_{i}^{y_{i}} (1 - {\hat{π}}_{i})^{1 - y_{i}} = 1^{n} = 1.

$\prod_{i=1}^n \hat{\pi}_i^{y_i}(1-\hat{\pi}_i)^{1-y_i} = 1^n = 1.$ Clearly the log of this is

0

$0$ .

— Taylor
nguồn

But this assumes ungrouped data. If you have groups with

n_{i} > 1

$n_i>1$ (and the same covariate values) (in R, forexample using the form glm( cbind(k, n-k) ~ x + ... ) then the saturated model do not have loglikelihood zero.

— kjetil b halvorsen

@kjetilbhalvorsen oh good point. I never tried that let me check

— Taylor

@Alex: yes, thats right. at least for discrete distributions. for continuous distributions, it would come down to letting the density be equal 1, which is not necessarily meaningful and therefore not a sensible thing to try and achieve. slightly more generally, the log-likelihood of the saturated model gives you an upper bound for the performance of any model that follows your assumption of the underlying distribution family. In other words, the log-likelihood of a saturated binomial model it is "as good as it gets" for the given data set (X,Y) assuming Y is binomial. It makes sense to compare your glm model to this upper bound as opposed to, say, 100% (or similar), since your model is inherently constrained by your assumption on the response distribution. The deviance as defined by @Zhanxiong therefore gives you a good idea how well your model performs w.r.t to its inherit limitations that come from assuming a certain response type.

— bettmensch88
nguồn