Tính khoảng tin cậy cho hồi quy logistic

Tôi đang sử dụng hồi quy logistic nhị thức để xác định xem việc tiếp xúc has_xhoặc has_yảnh hưởng đến khả năng người dùng sẽ nhấp vào cái gì đó. Mô hình của tôi là như sau:

fit = glm(formula = has_clicked ~ has_x + has_y, 
          data=df, 
          family = binomial())

Đây là đầu ra từ mô hình của tôi:

Call:
glm(formula = has_clicked ~ has_x + has_y, 
    family = binomial(), data = active_domains)

Deviance Residuals: 
    Min       1Q   Median       3Q      Max  
-0.9869  -0.9719  -0.9500   1.3979   1.4233  

Coefficients:
                      Estimate Std. Error z value Pr(>|z|)    
(Intercept)          -0.504737   0.008847 -57.050  < 2e-16 ***
has_xTRUE -0.056986   0.010201  -5.586 2.32e-08 ***
has_yTRUE  0.038579   0.010202   3.781 0.000156 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

(Dispersion parameter for binomial family taken to be 1)

    Null deviance: 217119  on 164182  degrees of freedom
Residual deviance: 217074  on 164180  degrees of freedom
AIC: 217080

Number of Fisher Scoring iterations: 4

Vì mỗi hệ số đều có ý nghĩa, sử dụng mô hình này, tôi có thể cho biết giá trị của bất kỳ kết hợp nào trong số này là sử dụng phương pháp sau:

predict(fit, data.frame(has_x = T, has_y=T), type = "response")

Tôi không hiểu làm thế nào tôi có thể báo cáo về Std. Lỗi dự đoán.

Tôi chỉ cần sử dụng $1.96*SE$ ? Hay tôi cần chuyển đổi $SE$ bằng cách sử dụng một phương pháp được mô tả ở đây ?
Nếu tôi muốn hiểu lỗi tiêu chuẩn cho cả hai biến, tôi sẽ xem xét điều đó như thế nào?

Không giống như câu hỏi này , tôi quan tâm đến việc hiểu các giới hạn trên và dưới của lỗi là bao nhiêu phần trăm. Ví dụ: dự đoán của tôi cho thấy giá trị 37% vì True,Truetôi có thể tính toán rằng đây là cho không? (0,3% được chọn để minh họa quan điểm của tôi) $+/- 0.3%$ $95\% CI$

— thiên thần
nguồn

Bản sao: stats.stackexchange.com/questions/5304/ Cách

— kjetil b halvorsen

Có thể trùng lặp tại sao lại có sự khác biệt giữa tính toán thủ công hồi quy logistic khoảng tin cậy 95% và sử dụng hàm confint () trong R?

— kjetil b halvorsen

@kjetilbhalvorsen bạn có chắc chắn đó là một bản sao vì OP dường như muốn có một khoảng dự đoán nhưng dường như đang hoạt động trên thang đo OR thay vì thang đo log có thể là gốc rễ của vấn đề?

— mdewey

Nếu bạn muốn đánh giá dự đoán hồi quy logistic tốt như thế nào, người ta thường sử dụng các biện pháp khác với dự đoán + SE. Một biện pháp đánh giá phổ biến trong ROC-Curve với AUC tương ứng

— adibender

Điều này có thể giúp được gì không? stackoverflow.com/questions/47414842/ Mạnh

— Xavier Bourret Sicotte

Câu trả lời:

Câu hỏi của bạn có thể đến từ thực tế là bạn đang đối phó với Tỷ lệ và Xác suất kỳ lạ lúc đầu khó hiểu. Vì mô hình logistic là một phép biến đổi phi tuyến tính của tính toán, các khoảng tin cậy không đơn giản như vậy. $\beta^Tx$

Lý lịch

Hãy nhớ lại rằng đối với mô hình hồi quy Logistic

Xác suất của : $(Y = 1)$ $p = \frac{e^{\alpha + \beta_1x_1 + \beta_2 x_2}}{1 + e^{ \alpha + \beta_1x_1 + \beta_2 x_2}}$
Tỷ lệ của : $(Y = 1)$ $\left( \frac{p}{1-p}\right) = e^{\alpha + \beta_1x_1 + \beta_2 x_2}$
Nhật ký tỷ lệ cược của : $(Y = 1)$ $\log \left( \frac{p}{1-p}\right) = \alpha + \beta_1x_1 + \beta_2 x_2$

Hãy xem xét trường hợp bạn tăng một đơn vị trong biến , tức là , thì tỷ lệ cược mới là $x_1$ $x_1 + 1$

Odds (Y = 1) = e^{α + β_{1} (x_{1} + 1) + β_{2} x_{2}} = e^{α + β_{1} x_{1} + β_{1} + β_{2} x_{2}}

$\text{Odds}(Y = 1) = e^{\alpha + \beta_1(x_1 + 1) + \beta_2x_2} = e^{\alpha + \beta_1 x_1 + \beta_1 + \beta_2x_2 }$

Tỷ lệ cược (OR) là do đó

\frac{Odds (x_{1} + 1)}{Odds (x_{1})} = \frac{e^{α + β_{1} (x_{1} + 1) + β_{2} x_{2}}}{e^{α + β_{1} x_{1} + β_{2} x_{2}}} = e^{β_{1}}

$\frac{\text{Odds}(x_1 + 1)}{\text{Odds}(x_1)} = \frac{e^{\alpha + \beta_1(x_1 + 1) + \beta_2x_2} }{e^{\alpha + \beta_1 x_1 + \beta_2x_2}} = e^{\beta_1}$

Tỷ lệ cược đăng nhập = $\beta_1$
Nguy cơ tương đối hay (tỷ lệ xác suất) = $\frac{ \frac{e^{\alpha + \beta_1x_1 + \beta_1 + \beta_2 x_2}}{1 + e^{ \alpha + \beta_1x_1 + \beta_1 + \beta_2 x_2}}}{ \frac{e^{\alpha + \beta_1x_1 + \beta_2 x_2}}{1 + e^{ \alpha + \beta_1x_1 + \beta_2 x_2}}}$

Hệ số phiên dịch

Làm thế nào bạn sẽ giải thích giá trị hệ số ? Giả sử rằng mọi thứ khác vẫn cố định: $\beta_j$

Đối với mỗi gia tăng đơn vị trong log-odds ratio tăng . $x_j$ $\beta_j$
Với mỗi đơn vị tăng trong , tỷ lệ chênh lệch tăng thêm . $x_j$ $e^{\beta_j}$
Đối với mỗi tăng từ đến tỷ lệ cược tỷ lệ tăng $x_j$ $k$ $k + \Delta$ $e^{\beta_j \Delta}$
Nếu hệ số âm, thì việc tăng sẽ dẫn đến giảm tỷ lệ chênh lệch. $x_j$

Khoảng tin cậy cho một tham số duy nhất $\beta_j$

Tôi chỉ cần sử dụng ? Hay tôi cần chuyển đổi SE bằng cách sử dụng một phương pháp được mô tả ở đây? $1.96∗SE$

Do tham số được ước tính bằng Ước tính khả năng sống tối đa, nên lý thuyết MLE cho chúng ta biết rằng nó không có triệu chứng bình thường và do đó chúng ta có thể sử dụng khoảng tin cậy Wald mẫu lớn để có được thông thường $\beta_j$

β_{j} \pm z^{*} S E (β_{j})

$\beta_j \pm z^* SE(\beta_j)$

Cung cấp một khoảng tin cậy về tỷ lệ cược log. Sử dụng thuộc tính bất biến của MLE cho phép chúng ta exponentiate để có được

e^{β_{j} \pm z^{*} S E (β_{j})}

$e^{\beta_j \pm z^* SE(\beta_j)}$

đó là một khoảng tin cậy về tỷ lệ cược. Lưu ý rằng các khoảng này chỉ dành cho một tham số duy nhất.

Nếu tôi muốn hiểu lỗi tiêu chuẩn cho cả hai biến, tôi sẽ xem xét điều đó như thế nào?

Nếu bạn bao gồm một số tham số, bạn có thể sử dụng quy trình Bonferroni, nếu không, đối với tất cả các tham số, bạn có thể sử dụng khoảng tin cậy cho các ước tính xác suất

Thủ tục Bonferroni cho một số tham số

$g$ $1 - \alpha$

β_{g} \pm z_{(1 - \frac{α}{2 g})} S E (β_{g})

$\beta_g \pm z_{(1 - \frac{\alpha}{2g})}SE(\beta_g)$

Khoảng tin cậy cho ước tính xác suất

$p$ $Pr(p_{L} \leq p \leq p_{U}) = .95$

Một cách tiếp cận được gọi là chuyển đổi điểm cuối thực hiện như sau:

$x^T\beta$
$F(x^T\beta)$

$Pr(x^T\beta) = F(x^T\beta)$ $x^T\beta$

[P r (x^{T} β)_{L} \leq P r (x^{T} β) \leq P r (x^{T} β)_{U}] = [F (x^{T} β)_{L} \leq F (x^{T} β) \leq F (x^{T} β)_{U}]

$[Pr(x^T\beta)_L \leq Pr(x^T\beta) \leq Pr(x^T\beta)_U] = [F(x^T\beta)_L \leq F(x^T\beta) \leq F(x^T\beta)_U]$

$\beta^Tx \pm z^* SE(\beta^Tx)$

[\frac{e^{x^{T} β - z^{*} S E (x^{T} β)}}{1 + e^{x^{T} β - z^{*} S E (x^{T} β)}}, \frac{e^{x^{T} β + z^{*} S E (x^{T} β)}}{1 + e^{x^{T} β + z^{*} S E (x^{T} β)}},]

$[\frac{e^{x^T\beta - z^* SE(x^T\beta)}}{1 + e^{x^T\beta - z^* SE(x^T\beta)}}, \frac{e^{x^T\beta + z^* SE(x^T\beta)}}{1 + e^{x^T\beta + z^* SE(x^T\beta)}},]$

$x^T\beta$

V a r (x^{T} β) = x^{T} Σ x

$Var(x^T\beta) = x^T \Sigma x$

$(0,1)$

Cũng có một số cách tiếp cận khác, sử dụng phương pháp delta, bootstrapping, v.v. mà mỗi phương pháp đều có những giả định, ưu điểm và giới hạn riêng.

Nguồn và thông tin

Cuốn sách yêu thích của tôi về chủ đề này là "Các mô hình thống kê tuyến tính ứng dụng" của Kutner, Neter, Li, Chương 14

Mặt khác, đây là một vài nguồn trực tuyến:

— Xavier Bourret Sicotte
nguồn

Phần lớn điều này là về CI cho các hệ số, đây là điều tốt để OP biết nhưng chúng tôi có chắc chắn đó là những gì anh ấy cần không? Phần sau của bạn có vẻ phù hợp với tôi hơn nhưng có lẽ sự khác biệt có thể bị bỏ qua nếu đọc quá nhanh?

— mdewey 7/07/18

Có bạn có lẽ đúng - nhưng hiểu tỷ lệ cược, tỷ lệ cược log và xác suất để hồi quy log là điều tôi đã đấu tranh trong quá khứ - tôi hy vọng bài viết này tóm tắt chủ đề đủ tốt để nó có thể giúp đỡ ai đó trong tương lai. Có lẽ tôi có thể trả lời câu hỏi rõ ràng hơn bằng cách cung cấp CI nhưng chúng ta sẽ cần ma trận hiệp phương sai

— Xavier Bourret Sicotte

Để có được khoảng tin cậy 95% của dự đoán, bạn có thể tính toán trên thang đo logit và sau đó chuyển đổi chúng trở lại thang đo xác suất 0-1. Dưới đây là một ví dụ sử dụng bộ dữ liệu titanic.

library(titanic)
data("titanic_train")

titanic_train$Pclass = factor(titanic_train$Pclass, levels = c(1,2,3), labels = c('First','Second','Third'))

fit = glm(Survived ~ Sex + Pclass, data=titanic_train, family = binomial())

inverse_logit = function(x){
  exp(x)/(1+exp(x))
}

predicted = predict(fit, data.frame(Sex='male', Pclass='First'), type='link', se.fit=TRUE)

se_high = inverse_logit(predicted$fit + (predicted$se.fit*1.96))
se_low = inverse_logit(predicted$fit - (predicted$se.fit*1.96))
expected = inverse_logit(predicted$fit)

Giá trị trung bình và thấp / cao 95% CI.

> expected
        1 
0.4146556 
> se_high
        1 
0.4960988 
> se_low
        1 
0.3376243

Và đầu ra từ chỉ sử dụng type='response', chỉ mang lại giá trị trung bình

predict(fit, data.frame(Sex='male', Pclass='First'), type='response')
        1 
0.4146556

— Shawn
nguồn

predict(fit, data.frame(Sex='male', Pclass='First'), type='response', se.fit=TRUE)sẽ làm việc.

— Tony416