OLS so với Poisson GLM với liên kết nhận dạng


11

Câu hỏi của tôi cho thấy sự hiểu biết kém của tôi về hồi quy Poisson và GLM nói chung. Đây là một số dữ liệu giả để minh họa câu hỏi của tôi:

### some fake data
x=c(1:14)
y=c(0,  1,  2,  3,  1,  4,  9, 18, 23, 31, 20, 25, 37, 45)

Một số chức năng tùy chỉnh để trả về psuedo-R2:

### functions of pseudo-R2

psuR2 <- function(null.dev, model.dev) { 1 - (model.dev / null.dev)}

predR2 <- function(actuals, predicted) { 1 - (sum((actuals - predicted)^2)) / sum((actuals - mean(actuals))^2)}

Phù hợp với bốn mô hình: OLS, Gaussian GLM với liên kết nhận dạng, Poisson GLM với liên kết nhật ký, Poisson GLM với liên kết nhận dạng

#### OLS MODEL
mdl.ols=lm(y~x)
summary(mdl.ols)
pred.ols = predict(mdl.ols)

summary(mdl.ols)$r.squared
predR2(y, pred.ols)

#### GLM MODEL, family=gaussian(link="identity")
mdl.guass <- glm(y~x, family=gaussian(link="identity"), maxit=500)
summary(mdl.guass)
pred.guass = predict(mdl.guass)

psuR2(mdl.guass$null.deviance, mdl.guass$deviance)
predR2(y, pred.guass)

#### GLM MODEL, family=possion (canonical link)
mdl.poi_log <- glm(y~x, family=poisson(link="log"), maxit=500)
summary(mdl.poi_log)
pred.poi_log= exp(predict(mdl.poi_log))  #transform

psuR2(mdl.poi_log$null.deviance, mdl.poi_log$deviance)
predR2(y, pred.poi_log)

#### GLM MODEL, family=poisson((link="identity")
mdl.poi_id <- glm(y~x, family=poisson(link="identity"), start=c(0.5,0.5), maxit=500)
summary(mdl.poi_id)
pred.poi_id = predict(mdl.poi_id)

psuR2(mdl.poi_id$null.deviance, mdl.poi_id$deviance)
predR2(y, pred.poi_id)

Cuối cùng vẽ sơ đồ dự đoán:

#### Plot the Fit
plot(x, y) 
lines(x, pred.ols)
lines(x, pred.guass, col="green")
lines(x,pred.poi_log, col="red")
lines(x,pred.poi_id, col="blue")

Tôi có 2 câu hỏi:

  1. Dường như các hệ số và dự đoán được đưa ra từ OLS và Gaussian GLM với liên kết nhận dạng là hoàn toàn giống nhau. Điều này luôn luôn đúng?

  2. Tôi rất ngạc nhiên khi các ước tính và dự đoán của OLS rất khác so với Poisson GLM với liên kết nhận dạng . Tôi nghĩ cả hai phương pháp sẽ cố gắng ước tính E (Y | X). Hàm khả năng trông như thế nào khi tôi sử dụng liên kết nhận dạng cho Poisson?



1
Nếu bạn muốn thực hiện bình phương tối thiểu để xấp xỉ mô hình Poisson bằng liên kết nhận dạng, bạn cũng có thể phù hợp với mô hình bình phương tối thiểu có trọng số, mdl.wols = lm (y ~ x, weights = 1 / log (y + 1.00000000001)) trong đó nhật ký (y + 1.00000000001) sau đó được lấy làm ước tính đầu tiên của phương sai (sqrt (y + 1E-10)) cũng hoạt động - ước tính của các mô hình như vậy sẽ rất gần với ước tính của Poisson GLM với liên kết nhận dạng ...
Tom Wenseleers

Câu trả lời:


14
  1. Vâng, chúng giống nhau. MLE cho Gaussian là bình phương nhỏ nhất, vì vậy khi bạn thực hiện Gaussian GLM với liên kết nhận dạng, bạn đang thực hiện OLS.

  2. a) " Tôi nghĩ cả hai phương pháp sẽ cố gắng ước tính E (Y | X) "

    Thật vậy, họ làm, nhưng cách mà kỳ vọng có điều kiện được ước tính là một chức năng của dữ liệu không giống nhau. Ngay cả khi chúng ta bỏ qua phân phối (và do đó làm thế nào dữ liệu nhập vào khả năng) và nghĩ về GLM chỉ về giá trị trung bình và phương sai (như thể nó chỉ là một hồi quy có trọng số), phương sai của Poisson tăng theo giá trị trung bình, vì vậy các trọng số tương đối trên các quan sát sẽ khác nhau.

    b) " Hàm khả năng trông như thế nào khi tôi sử dụng liên kết nhận dạng cho Poisson? "

    L(β0,β1)=ieλiλiyi/yi!

    =exp(iλi+yilog(λi)log(yi!)) trong đóλi=β0+β1xi

    =exp(i(β0+β1xi)+yilog(β0+β1xi)log(yi!))


4
Một chi tiết về điểm thứ hai của Glen_b. Một câu chuyện tôi tự nói với mình, điều mà tôi thấy khá rõ ràng, đó là khi giá trị trung bình có điều kiện ước tính trở nên lớn hơn trong mô hình poisson, mô hình trở nên khoan dung hơn với các giá trị dữ liệu khác xa với giá trị trung bình có điều kiện. Tương phản điều này với mô hình tuyến tính thẳng, có khả năng chịu đựng đồng đều cho dù giá trị trung bình có điều kiện được ước tính là bao nhiêu.
Matthew Drury

@Glen_b, tôi có thể yêu cầu bạn làm rõ những gì bạn nói: "từ đó làm thế nào dữ liệu nhập vào khả năng". Bạn có nói rằng khả năng phù hợp với mô hình là khác nhau giữa OLS và POisson (liên kết = danh tính), khi được trang bị sử dụng MLE?. Tức là, nếu điều chỉnh OLS bằng MLE, bạn có sử dụng hàm khả năng cho phân phối bình thường để tính khả năng của sự phù hợp, so với hàm khả năng từ phân phối poisson trong trường hợp sau không?
Alex

1
@Alex Phải; OLS là ML với khả năng Gaussian và Gaussian không phải là khả năng Poisson
Glen_b -Reinstate Monica
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.