Ước tính khoảng tin cậy nhị thức - tại sao nó không đối xứng?


30

Tôi đã sử dụng mã r sau đây để ước tính khoảng tin cậy của tỷ lệ nhị thức vì tôi hiểu rằng thay thế cho "tính toán công suất" khi thiết kế các thiết kế đường cong đặc trưng của máy thu nhìn vào việc phát hiện bệnh trong dân số.

n là 150, và bệnh, chúng tôi tin rằng, là 25% phổ biến trong dân số. Tôi đã tính các giá trị cho độ nhạy 75% và độ đặc hiệu 90% (vì đó là những gì mọi người dường như làm).

    binom.test(c(29,9), p=0.75, alternative=c("t"), conf.level=0.95)

    binom.test(c(100, 12), p=0.90, alternative=c("t"), conf.level=0.95)

Tôi cũng đã truy cập trang web này:

http://statpages.org/confint.html

Đó là một trang java tính toán khoảng tin cậy nhị thức và nó cho cùng một câu trả lời.

Dù sao, sau quá trình thiết lập dài đó, tôi muốn hỏi tại sao khoảng tin cậy không đối xứng, ví dụ độ nhạy là

   95 percent confidence interval:
   0.5975876 0.8855583 

   sample estimate probability: 0.7631579 

Xin lỗi nếu đây là một câu hỏi ngu ngốc, nhưng ở mọi nơi tôi nhìn dường như gợi ý rằng chúng sẽ đối xứng, và một đồng nghiệp của tôi dường như nghĩ rằng họ cũng sẽ như vậy.

Câu trả lời:


20

Chúng được cho là đối xứng vì thường sử dụng xấp xỉ bình thường. Cái này hoạt động đủ tốt trong trường hợp p nằm trong khoảng 0,5. binom.testmặt khác báo cáo các khoảng Clopper-Pearson "chính xác", dựa trên phân phối F (xem ở đây để biết công thức chính xác của cả hai phương pháp). Nếu chúng ta thực hiện khoảng Clopper-Pearson trong R thì nó sẽ giống như (xem ghi chú ):

Clopper.Pearson <- function(x, n, conf.level){
    alpha <- (1 - conf.level) / 2
    QF.l <- qf(1 - alpha, 2*n - 2*x + 2, 2*x)
    QF.u <- qf(1 - alpha, 2*x + 2, 2*n - 2*x)

    ll <- if (x == 0){
          0
    } else { x / ( x + (n-x+1)*QF.l ) }

    uu <- if (x == 0){
          0
    } else { (x+1)*QF.u / ( n - x + (x+1)*QF.u ) }

    return(c(ll, uu))
}

Bạn thấy cả trong liên kết và trong quá trình thực hiện rằng công thức cho giới hạn trên và giới hạn dưới là hoàn toàn khác nhau. Trường hợp duy nhất của khoảng tin cậy đối xứng là khi p = 0,5. Sử dụng các công thức từ liên kết và tính đến trong trường hợp này n=2×x , thật dễ dàng để bạn tự tìm ra cách nó xuất hiện.

Cá nhân tôi hiểu nó tốt hơn khi nhìn vào khoảng tin cậy dựa trên cách tiếp cận logistic. Dữ liệu nhị thức thường được mô hình hóa bằng chức năng liên kết logit, được định nghĩa là:

logit(x)=log(x1x)

Hàm liên kết này "ánh xạ" thuật ngữ lỗi trong hồi quy logistic sang phân phối bình thường. Kết quả là, khoảng tin cậy trong khung logistic là đối xứng xung quanh các giá trị logit, giống như trong khung hồi quy tuyến tính cổ điển. Phép biến đổi logit được sử dụng chính xác để cho phép sử dụng toàn bộ lý thuyết dựa trên quy tắc xung quanh hồi quy tuyến tính.

Sau khi thực hiện chuyển đổi ngược:

logit1(x)=ex1+ex

Bạn nhận được một khoảng bất đối xứng một lần nữa. Bây giờ những khoảng tin cậy này thực sự thiên vị. Phạm vi bảo hiểm của họ không phải là những gì bạn mong đợi, đặc biệt là ở ranh giới phân phối nhị thức. Tuy nhiên, như một minh họa, họ cho bạn thấy lý do tại sao logic phân phối nhị thức có khoảng tin cậy không đối xứng.

Một ví dụ trong R:

logit <- function(x){ log(x/(1-x)) }
inv.logit <- function(x){ exp(x)/(1+exp(x)) }
x <- c(0.2, 0.5, 0.8)
lx <- logit(x)
upper <- lx + 2
lower <- lx - 2

logxtab <- cbind(lx, upper, lower)
logxtab # the confidence intervals are symmetric by construction
xtab <- inv.logit(logxtab)
xtab # back transformation gives asymmetric confidence intervals

lưu ý : Trên thực tế, R sử dụng phân phối beta, nhưng điều này hoàn toàn tương đương và tính toán hiệu quả hơn một chút. Do đó, việc thực hiện trong R khác với những gì tôi trình bày ở đây, nhưng nó cho kết quả chính xác như nhau.


2
Bạn có thực sự muốn nói rằng logit "biến đổi phân phối nhị thức trong phân phối bình thường" ??
whuber

@whuber: bắt tốt công thức, và bắt tốt công thức. Khá nhiều không. Nó đảm bảo các lỗi trong hồi quy logistic tuân theo phân phối chuẩn. Thx cho sự điều chỉnh.
Joris Meys

Chỉ cần một lưu ý kỹ thuật ngắn gọn, phép biến đổi "arcsine" là phép chuyển đổi có tính hội tụ nhanh hơn so với phép biến đổi logistic. Đặt (trong đóXlà số "thành công" vàNlà số lượng thử nghiệm) và bạn có thể chỉ ra với cái gọi là "phương pháp delta" rằng phương sai củaYxấp xỉ không đổi (và độc lập vớiY, vì nó phải ở trong phân phối bình thường). Y=2πarcsinXNXNYY
xác suất

Liên kết bạn cung cấp cho "xác suất chính xác" bị hỏng. Bạn có một cái khác không?
S. Kolassa - Phục hồi lại

@StephanKolassa Bạn cũng có thể tìm thấy các công thức Clopper Pearson tại đây: en.wikipedia.org/wiki/iêu
Joris Meys

24

Để xem tại sao nó không đối xứng, hãy nghĩ đến tình huống và bạn nhận được 9 thành công sau 10 thử nghiệm. Sau đó p = 0,9 và CI 95% cho p là [0,554, 0,997]. Giới hạn trên không thể lớn hơn 1 rõ ràng, vì vậy hầu hết các sự không chắc chắn phải rơi xuống trái của p .p=0.9p^=0.9pp^


9

@Joris đã đề cập đến khoảng thời gian đối xứng hoặc "tiệm cận", đó rất có thể là khoảng thời gian bạn đang mong đợi. @Joris cũng đề cập đến các khoảng Clopper-Pearson "chính xác" và cung cấp cho bạn một tài liệu tham khảo trông rất đẹp. Có một khoảng tin cậy khác cho các tỷ lệ mà bạn có thể sẽ gặp phải (lưu ý rằng nó cũng không đối xứng), khoảng "Wilson" là một loại khoảng cách tiệm cận dựa trên việc đảo ngược bài kiểm tra điểm. Điểm cuối của khoảng thời gian giải quyết (trong ) phương trình ( p - p ) / p

(p^p)/p(1p)=±zα/2

Dù sao, bạn có thể nhận được cả ba trong R với những điều sau đây:

library(Hmisc)
binconf(29, 38, method = "asymptotic")
binconf(29, 38, method = "exact")
binconf(29, 38, method = "wilson")

Lưu ý rằng phương thức "wilson" là khoảng tin cậy tương tự được sử dụng bởi prop.test mà không cần hiệu chỉnh liên tục của Yates:

prop.test(29, 38, correct = FALSE)

Xem tại đây để biết hướng dẫn sử dụng SPLUS + R miễn phí của Laura Thompson đi kèm với Phân tích dữ liệu phân loại của Agresti trong đó các vấn đề này được thảo luận rất chi tiết.


1
(+1) Rất vui khi bạn trích dẫn sách giáo khoa của Laura và thêm phần bổ sung thông tin này về các TCTD của Wilson.
chl

2
Cảm ơn. Tôi muốn chỉ ra rằng khoảng Wilson được thảo luận trong bài viết mà @Joris đã tham chiếu.

9

được khoảng tin cậy đối xứng cho việc phân phối nhị thức: không đối xứng không được buộc vào chúng tôi, mặc dù tất cả các lý do đã đề cập. Các khoảng đối xứng thường được coi là kém hơn trong đó

  1. Mặc dù chúng là đối xứng số , nhưng chúng không đối xứng về xác suất : đó là, các lớp phủ một đầu của chúng khác nhau. Điều này - một hệ quả cần thiết của sự bất đối xứng có thể có của phân phối Binomial - là mấu chốt của vấn đề.

  2. Thường thì một điểm cuối phải không thực tế (nhỏ hơn 0 hoặc lớn hơn 1), như @Rob Hyndman chỉ ra.

Có nói rằng, tôi nghi ngờ rằng các TCTD đối xứng số có thể có một số tính chất tốt, chẳng hạn như có xu hướng ngắn hơn so với các đối xứng xác suất trong một số trường hợp.


p^=k/n

@cb Mình không theo cái này. Đầu tiên, một CI ngắn nhất sẽ không nhất thiết phải có mật độ bằng nhau ở mỗi đầu. Thứ hai, nhận xét về "không tồn tại" không có ý nghĩa gì với tôi: "không tồn tại" nghĩa là gì?
whuber

1
CI ngắn nhất. Để tính CI ngắn nhất cho phạm vi bảo hiểm nhất định, tôi sẽ bắt đầu ở mật độ tối đa và phóng to một bước ngắn sang bên có mật độ cao hơn. Ở đó tôi nhận được bảo hiểm tin cậy nhất (cho bước ngắn đó là). Tôi phóng to ci nhiều lần cho đến khi tôi có vùng mong muốn (vùng phủ sóng). Nếu các bước của tôi nhỏ (vô hạn), mật độ ở cả hai bên sẽ (xấp xỉ) như nhau. Tôi đã phạm sai lầm trong chiến lược này?
cbeleites hỗ trợ Monica

pp^=4/5=0.8pp<70%
cbeleites hỗ trợ Monica

1
p= =0,8, trong 94% số lần lặp lại chúng tôi quan sát k{3,4,5} thành công trong n= =5 kiểm tra ". Nhưng tôi hiểu rằng chúng ta phải ước tính p cho đã quan sát nk. Ví dụp cho rằng k= =4 ra khỏi n= =5thử nghiệm đã thành công. Vì vậy, tôi đang nói vềPr(p|n= =5,k= =4), p[0,1]. This is not the binomial distribution Pr(k|n,p) but that of proportion p (I don't know its name). Please help me to understand why there is no density for this distribution?
cbeleites supports Monica

6

Binomial distribution is just not symmetric, yet this fact emerges especially for p near 0 or 1 and for small n; most people use it for p0.5 and so the confusion.


2

I know that it has been a while, but I thought that I would chime in here. Given n and p, it is simple to compute the probability of a particular number of successes directly using the binomial distribution. One can then examine the distribution to see that it is not symmetric. It will approach symmetry for large np and large n(1-p).

One can accumulate the probabilities in the tails to compute a particular CI. Given the discrete nature of the distribution, finding a particular probability in a tail (e.g., 2.5% for a 95% CI) will require interpolation between the number of successes. With this method, one can compute CIs directly without approximation (other than the required interpolation).

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.