Tính toán lại khả năng đăng nhập từ một mô hình R lm đơn giản

Tôi chỉ đơn giản là cố gắng tính toán lại với dnorm () khả năng đăng nhập được cung cấp bởi hàm logLik từ mô hình lm (trong R).

Nó hoạt động (gần như hoàn hảo) cho số lượng dữ liệu cao (ví dụ n = 1000):

> n <- 1000
> x <- 1:n
> set.seed(1)
> y <- 10 + 2*x + rnorm(n, 0, 2)
> mod <- glm(y ~ x, family = gaussian)
> logLik(mod)
'log Lik.' -2145.562 (df=3)
> sigma <- sqrt(summary(mod)$dispersion)
> sum(log(dnorm(x = y, mean = predict(mod), sd = sigma)))
[1] -2145.563
> sum(log(dnorm(x = resid(mod), mean = 0, sd = sigma)))
[1] -2145.563

nhưng đối với các tập dữ liệu nhỏ có sự khác biệt rõ ràng:

> n <- 5
> x <- 1:n
> set.seed(1)
> y <- 10 + 2*x + rnorm(n, 0, 2)
> 
> mod <- glm(y ~ x, family = gaussian)
> logLik(mod)
'log Lik.' -8.915768 (df=3)
> sigma <- sqrt(summary(mod)$dispersion)
> sum(log(dnorm(x = y, mean = predict(mod), sd = sigma)))
[1] -9.192832
> sum(log(dnorm(x = resid(mod), mean = 0, sd = sigma)))
[1] -9.192832

Do hiệu ứng dữ liệu nhỏ, tôi nghĩ rằng nó có thể là do sự khác biệt trong ước tính phương sai còn lại giữa lm và glm nhưng sử dụng lm cung cấp kết quả tương tự như glm:

> modlm <- lm(y ~ x)
> logLik(modlm)
'log Lik.' -8.915768 (df=3)
> 
> sigma <- summary(modlm)$sigma
> sum(log(dnorm(x = y, mean = predict(modlm), sd = sigma)))
[1] -9.192832
> sum(log(dnorm(x = resid(modlm), mean = 0, sd = sigma)))
[1] -9.192832

Tôi sai ở đâu

Các logLik()chức năng cung cấp các đánh giá của loga bởi thay dự toán ML các thông số cho các giá trị của các thông số chưa biết. Bây giờ, ước tính khả năng tối đa của các tham số hồi quy ( trong ) trùng với ước tính bình phương nhỏ nhất, nhưng ước tính ML của là , trong khi bạn đang sử dụng , đó là căn bậc hai của không thiên vị ước tính của .$\beta_j$$X{\boldsymbol \beta}$$\sigma$$\sqrt{\frac{\sum \hat\epsilon_i^2}{n}}$$\hat\sigma = \sqrt{\frac{\sum \hat\epsilon_i^2}{n-2}}$$\sigma^2$

>  n <- 5
>  x <- 1:n
>  set.seed(1)
>  y <- 10 + 2*x + rnorm(n, 0, 2)
>  modlm <- lm(y ~ x)
>  sigma <- summary(modlm)$sigma
> 
>  # value of the likelihood with the "classical" sigma hat
>  sum(log(dnorm(x = y, mean = predict(modlm), sd = sigma)))
[1] -9.192832
> 
>  # value of the likelihood with the ML sigma hat
>  sigma.ML <- sigma*sqrt((n-dim(model.matrix(modlm))[2])/n) 
>  sum(log(dnorm(x = y, mean = predict(modlm), sd = sigma.ML)))
[1] -8.915768
>  logLik(modlm)
'log Lik.' -8.915768 (df=3)