12

Tôi đang nghiên cứu cách xây dựng khoảng tin cậy 95% cho tỷ lệ chênh lệch từ các hệ số thu được trong hồi quy logistic. Vì vậy, xem xét mô hình hồi quy logistic,

\log (\frac{p}{1 - p}) = α + β x

$\log\left(\frac{p}{1 - p}\right) = \alpha + \beta x \newcommand{\var}{\rm Var} \newcommand{\se}{\rm SE}$

sao cho $x = 0$ cho nhóm điều khiển và $x = 1$ cho nhóm trường hợp.

Tôi đã đọc rằng cách đơn giản nhất là xây dựng 95% CI cho $\beta$ sau đó chúng tôi đã áp dụng hàm số mũ, nghĩa là

\hat{β} \pm 1.96 \times S E (\hat{β}) \to \exp {\hat{β} \pm 1.96 \times S E (\hat{β})}

$\hat{\beta} \pm 1.96\times \se(\hat{\beta}) \rightarrow \exp\{\hat{\beta} \pm 1.96\times \se(\hat{\beta})\}$

Câu hỏi của tôi là:

Lý do lý thuyết mà biện minh cho thủ tục này là gì? Tôi biết $\mbox{odds ratio} = \exp\{\beta\}$ và các ước tính khả năng tối đa là bất biến. Tuy nhiên, tôi không biết kết nối giữa các yếu tố này.
Phương pháp delta có nên tạo ra khoảng tin cậy 95% giống như quy trình trước không? Sử dụng phương pháp delta,

$\exp {\hat{β}} \dot{\sim} N (β, \exp {β}^{2} V a r (\hat{β}))$ $\exp\{\hat{\beta}\} \dot{\sim} N(\beta,\ \exp\{\beta\}^2 \var(\hat{\beta}))$
Sau đó,

$\exp {\hat{β}} \pm 1.96 \times \sqrt{\exp {β}^{2} V a r (\hat{β})}$ $\exp\{\hat{\beta}\} \pm 1.96\times \sqrt{\exp\{\beta\}^2 \var(\hat{\beta})}$
Nếu không, đó là thủ tục tốt nhất?

— Márcio Augusto Diniz
nguồn

1

Tôi cũng thích bootstrap cho CI, nếu tôi có các giá trị tham số hoặc dữ liệu huấn luyện có kích thước đủ.

— EngrStudent - Phục hồi Monica

2

Có một cách tốt hơn để làm điều này, xem số liệu thống kê.stackexchange.com/questions/5304 / Để biết chi tiết

— mdewey

7

Sự biện minh cho thủ tục là tính quy phạm tiệm cận của MLE cho và kết quả từ các đối số liên quan đến Định lý giới hạn trung tâm. $\beta$
Phương thức Delta xuất phát từ việc mở rộng tuyến tính (tức là Taylor bậc nhất) của hàm xung quanh MLE. Sau đó, chúng tôi kêu gọi sự bình thường tiệm cận và không thiên vị của MLE.

Không có triệu chứng cả hai đưa ra cùng một câu trả lời. Nhưng thực tế, bạn sẽ thích cái nhìn gần hơn bình thường. Trong ví dụ này, tôi sẽ ưu tiên cái đầu tiên bởi vì cái sau có khả năng ít đối xứng hơn.

— Người thừa kế
nguồn

3

So sánh các phương pháp khoảng tin cậy trên một ví dụ từ ISL

Cuốn sách "Giới thiệu về học tập thống kê" của tác giả Tibshirani, James, Hastie cung cấp một ví dụ ở trang 267 về khoảng tin cậy cho hồi quy logistic đa thức bậc 4 về dữ liệu lương . Trích dẫn cuốn sách:

Chúng tôi mô hình sự kiện nhị phân bằng cách sử dụng hồi quy logistic với đa thức bậc 4. Xác suất tiền lương được trang bị vượt quá $ 250.000 được hiển thị bằng màu xanh lam, cùng với khoảng tin cậy ước tính 95%. $wage>250$

Dưới đây là tóm tắt nhanh về hai phương pháp để xây dựng các khoảng thời gian đó cũng như nhận xét về cách triển khai chúng từ đầu

Khoảng thời gian biến đổi Wald / Endpoint

Tính giới hạn trên và dưới của khoảng tin cậy cho tổ hợp tuyến tính (sử dụng Wald CI) $x^T\beta$
Áp dụng một phép biến đổi đơn điệu cho các điểm cuối để có được xác suất. $F(x^T\beta)$

Vì là một phép biến đổi đơn điệu của $Pr(x^T\beta) = F(x^T\beta)$ $x^T\beta$

[P r (x^{T} β)_{L} \leq P r (x^{T} β) \leq P r (x^{T} β)_{Bạn}] = = [F (x^{T} β)_{L} \leq F (x^{T} β) \leq F (x^{T} β)_{Bạn}]

$[Pr(x^T\beta)_L \leq Pr(x^T\beta) \leq Pr(x^T\beta)_U] = [F(x^T\beta)_L \leq F(x^T\beta) \leq F(x^T\beta)_U]$

Cụ thể, điều này có nghĩa là tính toán và sau đó áp dụng biến đổi logit cho kết quả để có được giới hạn dưới và trên: $\beta^Tx \pm z^* SE(\beta^Tx)$

[\frac{e^{x^{T} β - z^{*} S E (x^{T} β)}}{1 + e^{x^{T} β - z^{*} S E (x^{T} β)}}, \frac{e^{x^{T} β + z^{*} S E (x^{T} β)}}{1 + e^{x^{T} β + z^{*} S E (x^{T} β)}},]

$[\frac{e^{x^T\beta - z^* SE(x^T\beta)}}{1 + e^{x^T\beta - z^* SE(x^T\beta)}}, \frac{e^{x^T\beta + z^* SE(x^T\beta)}}{1 + e^{x^T\beta + z^* SE(x^T\beta)}},]$

Tính toán sai số chuẩn

Lý thuyết khả năng tối đa cho chúng ta biết rằng phương sai gần đúng của có thể được tính bằng ma trận hiệp phương sai của các hệ số hồi quy bằng cách sử dụng $x^T\beta$ $\Sigma$

V a r (x^{T} β) = x^{T} Σ x

$Var(x^T\beta) = x^T \Sigma x$

Xác định ma trận thiết kế và ma trận là $X$ $V$

X = [\begin{matrix} 1 & x_{1, 1} & \dots & x_{1, p} \\ 1 & x_{2, 1} & \dots & x_{2, p} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 1 & x_{n, 1} & \dots & x_{n, p} \end{matrix}] V = [\begin{matrix} {\hat{π}}_{1} (1 - {\hat{π}}_{1}) & 0 & Giáo dục & 0 \\ 0 & {\hat{π}}_{2} (1 - {\hat{π}}_{2}) & Giáo dục & 0 \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 0 & 0 & Giáo dục & {\hat{π}}_{n} (1 - {\hat{π}}_{n}) \end{matrix}]

$\textbf{X = }\begin{bmatrix} 1 & x_{1,1} & \ldots & x_{1,p} \\ 1 & x_{2,1} & \ldots & x_{2,p} \\ \vdots & \vdots & \ddots & \vdots \\ 1 & x_{n,1} & \ldots & x_{n,p} \end{bmatrix} \ \ \ \ \textbf{V = } \begin{bmatrix} \hat{\pi}_{1}(1 - \hat{\pi}_{1}) & 0 & \ldots & 0 \\ 0 & \hat{\pi}_{2}(1 - \hat{\pi}_{2}) & \ldots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \ldots & \hat{\pi}_{n}(1 - \hat{\pi}_{n}) \end{bmatrix}$

trong đó là giá trị của biến thứ cho các quan sát thứ và đại diện cho xác suất dự đoán cho quan sát . $x_{i,j}$ $j$ $i$ $\hat{\pi}_{i}$ $i$

Ma trận hiệp phương sai sau đó có thể được tìm thấy là: và lỗi tiêu chuẩn là $\Sigma = \textbf{(X}^{T}\textbf{V}\textbf{X)}^{-1}$ $SE(x^T\beta) = \sqrt{Var(x^T\beta)}$

Khoảng tin cậy 95% cho xác suất dự đoán sau đó có thể được vẽ như là

Khoảng tin cậy phương pháp Delta

Cách tiếp cận là tính toán phương sai của xấp xỉ tuyến tính của hàm và sử dụng phương pháp này để xây dựng các khoảng tin cậy mẫu lớn. $F$

Var [F (x^{T} \hat{β})] \approx \nabla F^{T} Σ \nabla F

$\text{Var}[F\mathbf{(x^T \hat \beta)}] \approx \nabla F^T \ \Sigma \ \nabla F$

Trong đó là độ dốc và ma trận hiệp phương sai ước tính. Lưu ý rằng trong một chiều: $\nabla$ $\Sigma$

\frac{\partial F (x β)}{\partial β} = \frac{\partial F (x β)}{\partial x β} \frac{\partial x β}{\partial β} = x f (x β)

$\frac{\partial F(x\beta)}{\partial \beta} = \frac{\partial F(x\beta)}{\partial x\beta} \frac{\partial x\beta}{\partial \beta} = x f(x\beta)$

Trong trường hợp là đạo hàm của . Điều này khái quát trong trường hợp đa biến $f$ $F$

Var [F (x^{T} \hat{β})] \approx f^{T} x^{T} Σ x f

$\text{Var}[F\mathbf{(x^T \hat \beta)}] \approx f^T \ \mathbf{x^T} \ \Sigma \ \mathbf{x} \ f$

Trong trường hợp của chúng ta F là hàm logistic (mà chúng ta sẽ biểu thị ) có đạo hàm là $\pi(x^T\beta)$

π^{'} (x^{T} β) = π (x^{T} β) (1 - π (x^{T} β))

$\pi'(x^T\beta) = \pi (x^T\beta) (1 - \pi (x^T\beta) )$

Bây giờ chúng ta có thể xây dựng một khoảng tin cậy bằng cách sử dụng phương sai được tính toán ở trên.

C . I . = [P r (x \hat{β}) - z^{*} \sqrt{Var [π (x \hat{β})]} \leq P r (x \hat{β}) + z^{*} \sqrt{Var [π (x \hat{β})]}]

$C.I. = [Pr(x\hat \beta) - z^* \sqrt{\text{Var}[ \pi(x \hat \beta) ]} \leq Pr(x\hat \beta) + z^* \sqrt{\text{Var}[ \pi(x \hat \beta) ]} ]$

Ở dạng vector cho trường hợp đa biến

C . I . = [π (x^{T} \hat{β}) \pm z^{*} \sqrt{{(π (x^{T} \hat{β}) (1 - π (x^{T} \hat{β})))}^{T} x^{T} Var [\hat{β}] x π (x^{T} \hat{β}) (1 - π (x^{T} \hat{β}))]}

$C.I. = \mathbf{[\pi(x^T\hat \beta) \pm z^* \sqrt{ \left(\pi(x^T \hat \beta) (1 - \pi(x^T \hat \beta) ) \right)^T x^T \ \ \text{Var}[ \hat \beta] \ \ x \ \ \pi(x^T \hat \beta) (1 - \pi(x^T \hat \beta) ) ]}}$

Lưu ý rằng đại diện cho một điểm dữ liệu duy nhất trong , tức là một hàng duy nhất của ma trận thiết kế $\mathbf{x}$ $\mathbb{R}^{p+1}$ $X$

Một kết luận mở

Nhìn vào các ô QQ bình thường cho cả xác suất và tỷ lệ cược log âm cho thấy cả hai đều không được phân phối bình thường. Điều này có thể giải thích sự khác biệt?

Nguồn:

— Xavier Bourret Sicotte
nguồn

1

Đối với hầu hết các mục đích, cách đơn giản nhất có lẽ là tốt nhất, như được thảo luận trong bối cảnh chuyển đổi nhật ký trên trang này . Hãy suy nghĩ về biến phụ thuộc của bạn khi được phân tích theo thang đo logit, với các kiểm tra thống kê được thực hiện và khoảng tin cậy (CI) được xác định trên thang đo logit đó. Việc chuyển đổi trở lại tỷ lệ cược chỉ đơn giản là đưa những kết quả đó vào một thang đo mà người đọc có thể dễ dàng nắm bắt hơn. Điều này cũng được thực hiện, ví dụ, trong phân tích tỷ lệ sống của Cox, trong đó các hệ số hồi quy (và 95% CI) được lũy thừa để có được tỷ lệ nguy hiểm và CI của chúng.

— EdM
nguồn

Các cách khác nhau để tạo khoảng tin cậy cho tỷ lệ chênh lệch từ hồi quy logistic

So sánh các phương pháp khoảng tin cậy trên một ví dụ từ ISL

Khoảng thời gian biến đổi Wald / Endpoint

Tính toán sai số chuẩn

Khoảng tin cậy phương pháp Delta

Một kết luận mở