Mô hình hồi quy logistic không hội tụ

Tôi đã có một số dữ liệu về các chuyến bay của hãng hàng không (trong khung dữ liệu được gọi flights) và tôi muốn xem liệu thời gian chuyến bay có ảnh hưởng gì đến xác suất chuyến bay bị trì hoãn đáng kể hay không (nghĩa là 10 phút trở lên). Tôi hình dung tôi sẽ sử dụng hồi quy logistic, với thời gian bay là công cụ dự đoán và liệu mỗi chuyến bay có bị trì hoãn đáng kể hay không (một bó Bernoullis) làm phản hồi. Tôi đã sử dụng mã sau đây ...

flights$BigDelay <- flights$ArrDelay >= 10
delay.model <- glm(BigDelay ~ ArrDelay, data=flights, family=binomial(link="logit"))
summary(delay.model)

... nhưng có đầu ra sau.

> flights$BigDelay <- flights$ArrDelay >= 10
> delay.model <- glm(BigDelay ~ ArrDelay, data=flights, family=binomial(link="logit"))
Warning messages:
1: In glm.fit(x = X, y = Y, weights = weights, start = start, etastart = etastart,  :
  algorithm did not converge
2: In glm.fit(x = X, y = Y, weights = weights, start = start, etastart = etastart,  :
  fitted probabilities numerically 0 or 1 occurred
> summary(delay.model)

Call:
glm(formula = BigDelay ~ ArrDelay, family = binomial(link = "logit"),
    data = flights)

Deviance Residuals:
       Min          1Q      Median          3Q         Max
-3.843e-04  -2.107e-08  -2.107e-08   2.107e-08   3.814e-04

Coefficients:
            Estimate Std. Error z value Pr(>|z|)
(Intercept)  -312.14     170.26  -1.833   0.0668 .
ArrDelay       32.86      17.92   1.833   0.0668 .
---
Signif. codes:  0 â***â 0.001 â**â 0.01 â*â 0.05 â.â 0.1 â â 1

(Dispersion parameter for binomial family taken to be 1)

    Null deviance: 2.8375e+06  on 2291292  degrees of freedom
Residual deviance: 9.1675e-03  on 2291291  degrees of freedom
AIC: 4.0092

Number of Fisher Scoring iterations: 25

Điều đó có nghĩa là thuật toán không hội tụ? Tôi nghĩ rằng đó là vì các BigDelaygiá trị là TRUEvà FALSEthay vì 0và 1, nhưng tôi đã gặp lỗi tương tự sau khi tôi chuyển đổi mọi thứ. Có ý kiến ​​gì không?

glm()sử dụng thuật toán bình phương tối thiểu trọng số lặp lại. Thuật toán đạt số lần lặp tối đa được phép trước khi hội tụ tín hiệu. Mặc định, được ghi thành tài liệu ?glm.controllà 25. Bạn chuyển các tham số điều khiển dưới dạng danh sách trong glmcuộc gọi:

delay.model <- glm(BigDelay ~ ArrDelay, data=flights, family=binomial,
                   control = list(maxit = 50))

Như @Conjugate Prior nói, dường như bạn đang dự đoán phản hồi với dữ liệu được sử dụng để tạo ra nó. Bạn có sự tách biệt hoàn toàn như bất kỳ ArrDelay < 10sẽ dự đoán FALSEvà bất kỳ ArrDelay >= 10sẽ dự đoán TRUE. Thông báo cảnh báo khác cho bạn biết rằng xác suất được trang bị cho một số quan sát có hiệu quả là 0 hoặc 1 và đó là một chỉ báo tốt mà bạn có lỗi với mô hình.

$\hat{\beta}_i$

Bạn có thể thử kiểm tra xem liệu giảm độ lệch của Firth có hoạt động với tập dữ liệu của bạn không. Đó là một cách tiếp cận khả năng bị phạt có thể hữu ích cho các bộ dữ liệu tạo ra sự phân kỳ bằng cách sử dụng glmgói tiêu chuẩn . Đôi khi nó có thể được sử dụng thay vì loại bỏ biến đó tạo ra sự phân tách hoàn toàn / gần như hoàn toàn.

$O(n^{-1})$

Giảm thiểu thiên vị của Firth được triển khai trong gói R logistf: http://cran.r-project.org/web/packages/logistf/logistf.pdf