Xuất phát từ khoảng tin cậy và dự đoán của các dự đoán cho probit và logit (và GLM nói chung)

Đạo hàm của khoảng dự đoán cho mô hình tuyến tính khá đơn giản: Lấy công thức giới hạn dự đoán trong mô hình tuyến tính .

Làm thế nào để rút ra khoảng tin cậy và dự đoán cho các giá trị được trang bị của hồi quy logit và probit (và GLM nói chung)?

— người học thống kê
nguồn

Bạn có đang xác định "dự đoán" cho kết quả nhị phân là trung bình lấy mẫu, như tỷ lệ hoặc tỷ lệ phần trăm không?

— AdamO

@AdamO Tôi nghĩ rằng anh ấy / cô ấy đang xác định dự đoán hồi quy logistic là xác suất có điều kiện dự đoán. Tức là, dự đoán là , một công cụ ước tính cho , không phải .

\hat{p} (x)

$\hat{p}(x)$

P (Y | X = x)

$P(Y|X=x)$

\hat{Y} (x)

$\hat{Y}(x)$

— DeltaIV

@AdamO câu hỏi hay, tôi muốn một khoảng thời gian làm cho dự đoán của tôi bao gồm các giá trị tương lai của 95% thời gian. Điều đó có thể được thực hiện với một khoảng cho chuyển thành một khoảng dự đoán (điều này sẽ chỉ là 0, chỉ 1 hoặc 0 và 1 và tôi đoán).

y

$y$

\hat{p}

$\hat{p}$

— statslearner

@statslearner Tôi không hiểu. Bạn có muốn một khoảng hữu hạn, bao gồm giá trị tương lai của , lần không? Đây là: . Nó thậm chí không phụ thuộc vào , bạn còn đòi hỏi gì hơn nữa? Nghiêm túc mà nói, tôi không nghĩ sẽ hợp lý khi yêu cầu một khoảng dự đoán với đầu ra Bernoulli. Mặt khác, nếu bạn đang sử dụng hồi quy logistic cho biến Binomial, thì khoảng dự đoán sẽ có ý nghĩa ...

y

$y$

100 %

$100\%$

I = [0, 1]

$I=[0,1]$

x

$x$

— DeltaIV

@statslearner hmmm chờ đã, có lẽ chúng ta đang nói về điều tương tự. Bạn đang sửa , lấy mẫu lần và tìm kiếm một khoảng dự đoán cho số lần thành công? Ước tính điểm rõ ràng là và PI tầm thường là , nhưng bạn muốn có khoảng thời gian tốt hơn (ngắn hơn). Nếu vậy, hãy xem tại đây: stats.stackexchange.com/questions/255570/ cấp

x

$x$

y | x

$y|x$

n

$n$

n \hat{p} (x)

$n\hat{p}(x)$

100 %

$100\%$

[0, n]

$[0,n]$

— DeltaIV

Câu trả lời:

Trong GLM, dự đoán là hàm phi tuyến tính của sản phẩm của hiệp phương với vectơ hệ số ước tính : Phân phối mẫu hữu hạn của thường không được biết, nhưng miễn là là ước tính khả năng tối đa , nó có phân phối bình thường không có triệu chứng , trong đó là ma trận Hessian của hàm khả năng ở mức tối đa của nó. Giá trị p của $f$ $X$ $\hat{\beta}$

\hat{y} = f (X \hat{β})

$\hat{y} = f(X\hat{\beta})$

\hat{β}

$\hat{\beta}$

\hat{β}

$\hat{\beta}$

N (β, - H^{- 1})

$\mathcal{N}(\beta, -H^{-1})$

H

$H$

β

$\beta$ được hiển thị như một đầu ra của hồi quy gần như luôn luôn dựa trên sự không triệu chứng này. Nhưng nếu bạn cảm thấy mẫu của mình quá nhỏ so với tiệm cận, hãy sử dụng phân phối số (ví dụ: bootstrapping).

Khi bạn sử dụng phân phối bình thường không có triệu chứng của (và do đó ), phân phối của vẫn không bình thường do phi tuyến tính . Bạn có thể bỏ qua nó - nhận giới hạn tin cậy bình thường cho và cắm chúng vào , nhận giới hạn cho là . $\hat{\beta}$ $X\hat{\beta}$ $\hat{y}$ $f$ $(z_{lower}, z_{upper})$ $X\beta$ $f$ $y$ $(y_{lower}, y_{upper}) = (f(z_{lower}), f(z_{upper}))$

Một chiến lược khác (được gọi là phương thức delta ) là mở rộng Taylor của xung quanh - nó sẽ là tuyến tính trong . Do đó, bạn có thể phân phối gần đúng dưới dạng $f$ $X\hat{\beta}$ $\hat{\beta}$ $f(X\hat{\beta})$

f (X \hat{β}) \sim N (f (X β), - (f^{^{'}} (X β))^{2} X H^{- 1} X^{T})

$f(X\hat{\beta}) \sim \mathcal{N}\left(f(X\beta), -(f^{'}(X\beta))^2 X H^{-1} X^T \right)$

Sau đó, khoảng tin cậy 95% tiệm cận cho sẽ như thế nào $f(X\beta)$

f (X \hat{β}) \pm 1.96 \sqrt{(f^{^{'}} (X \hat{β}))^{2} X H (\hat{β})^{- 1} X^{T}}

$f(X\hat{\beta}) \pm 1.96 \sqrt{(f^{'}(X\hat{\beta}))^2 X H(\hat{\beta})^{-1} X^T}$

Bây giờ bạn chỉ cần tìm biểu thức cho ma trận Hessian cho các mô hình cụ thể, như hồi quy logistic trong câu hỏi này . Và câu hỏi này trình bày so sánh thực tế của bootstrap, biến đổi giới hạn bình thường và phương pháp delta cho hồi quy logistic.

— David Dale
nguồn

Nhưng điều đó có cho khoảng tin cậy hoặc khoảng dự đoán là . Có vẻ như chỉ có một khoảng tin cậy, phải không? Nó cảm thấy nên có một tiếng ồn thêm được xem xét cho một khoảng dự đoán.

\hat{y}

$\hat{y}$

— thống kê

Đó chỉ là một khoảng tin cậy thực sự. Nhưng đối với các mô hình phản hồi nhị phân (như logit và probit), dự đoán đã có xác suất - sản lượng thực là 1 hoặc 0 với một số xác suất. Nghĩa là, "khoảng dự đoán" luôn luôn là hoặc (nếu xác suất dự đoán là rất nhỏ) hoặc (nếu xác suất dự đoán là rất lớn). Nhưng xác suất dự đoán này có thể khác nhau, và khoảng tin cậy phản ánh điều này.

[0, 1]

$[0, 1]$

[0, 0]

$[0, 0]$

[1, 1]

$[1,1]$

— David Dale

Khi vẫn thất bại, bạn luôn có thể xây dựng các TCTD khởi động cho bất kỳ thống kê nào. Đây là một thuật toán đơn giản:

Vẽ mẫu thay thế từ (trong đó là số hàng trong ). Bạn sẽ thấy rằng khoảng 2/3 quan sát của bạn sẽ xuất hiện trong một mẫu như vậy. $N$ $X$ $N$ $X$
Sử dụng các mẫu này để phù hợp với một mô hình
Sử dụng mô hình này để tạo dự đoán cho các quan sát trong không được sử dụng trong đào tạo. $X$
Lặp lại quá trình này 100 lần hoặc lâu hơn (càng nhiều càng tốt) để tích lũy một bộ sưu tập dự đoán cho mỗi quan sát. Bộ sưu tập này là một xấp xỉ để phân phối dự đoán của bạn. Gọi đây là "dự đoán bootstrapping" của bạn.
Xây dựng khoảng tin cậy bằng cách lấy lượng tử trên các dự đoán. Ví dụ, đối với một quan sát cụ thể, hãy tính toán các lượng tử .025 và .975 cho khoảng tin cậy 95%.

— David Marx
nguồn

Điều này thật thú vị, nhưng trong hoàn cảnh nào bạn có thể đảm bảo với tôi điều này sẽ bao gồm đúng 95% thời gian?

— thống kê