Khoảng dự đoán cho biến ngẫu nhiên nhị thức

Công thức (gần đúng hoặc chính xác) cho khoảng dự đoán cho biến ngẫu nhiên Binomial là gì?

Giả sử và chúng tôi quan sát (được rút ra từ ). Các được biết đến.$Y \sim \mathsf{Binom}(n, p)$$y$$Y$$n$

Mục tiêu của chúng tôi là để có được một khoảng thời gian dự đoán 95% cho một trận hòa mới từ .$Y$

Ước tính điểm là , trong đó . Một khoảng tin cậy cho là đơn giản, nhưng tôi không thể tìm thấy một công thức cho một khoảng thời gian dự đoán cho . Nếu chúng ta biết (chứ không phải ), thì khoảng dự đoán 95% chỉ liên quan đến việc tìm các lượng tử của nhị thức. Có cái gì đó rõ ràng tôi đang nhìn?$n\hat{p}$p Yp$\hat{p}=\frac{y}{n}$$\hat{p}$$Y$$p$$\hat{p}$

Ok, chúng ta hãy thử điều này. Tôi sẽ đưa ra hai câu trả lời - câu trả lời Bayes, theo ý kiến ​​của tôi đơn giản và tự nhiên, và một trong những câu hỏi thường gặp có thể có.

Giải pháp Bayes

Chúng tôi giả định một trước Beta trên , i, e., P ~ B e t một ( α , β ) , bởi vì mô hình Beta-nhị thức là liên hợp, có nghĩa là phân bố sau cũng là một phân phối Beta với các thông số α = α + k , β = β + n - k , (tôi đang sử dụng k để biểu thị số lần thành công trong n thử nghiệm, thay vì y ). Do đó, suy luận được đơn giản hóa rất nhiều. Bây giờ, nếu bạn có một số kiến ​​thức trước về các giá trị có khả năng của$p$$p \sim Beta(\alpha,\beta)$$\hat{\alpha}=\alpha+k,\hat{\beta}=\beta+n-k$$k$$n$$y$ , bạn có thể sử dụng nó để thiết lập các giá trị của α và β , ví dụ, để xác định Beta của bạn trước, nếu không bạn có thể giả định một bộ đồng phục (noninformative) trước, với α = β = 1 , hoặc priors noninformative khác (xem ví dụở đây). Trong mọi trường hợp, hậu thế của bạn là$p$$\alpha$$\beta$$\alpha=\beta=1$

$Pr(p|n,k)=Beta(\alpha+k,\beta+n-k)$

Trong suy luận Bayes, tất cả những gì quan trọng là xác suất sau, nghĩa là một khi bạn biết điều đó, bạn có thể suy luận cho tất cả các đại lượng khác trong mô hình của mình. Bạn muốn làm cho suy luận trên quan sát : đặc biệt, trên một vector của các kết quả mới y = y 1 , ... , y m , nơi m không nhất thiết phải bằng với n . Cụ thể, đối với mỗi j = 0 , ... , m , chúng tôi muốn để tính xác suất của việc có chính xác k thành công trong tiếp theo m thử nghiệm, cho rằng chúng tôi đã nhận $y$$\mathbf{y}=y_1,\dots,y_m$$m$$n$$j=0,\dots,m$$j$$m$$k$thành công trong các thử nghiệm trước đó ; chức năng khối dự đoán sau:$n$

$Pr(j|m,y)=Pr(j|m,n,k)=\int_0^1 Pr(j,p|m,n,k)dp = \int_0^1 Pr(j|p,m,n,k)Pr(p|n,k)dp$

Tuy nhiên, mô hình Binomial của chúng tôi cho có nghĩa là, với điều kiện p có một giá trị nhất định, xác suất để có j thành công trong các thử nghiệm m không phụ thuộc vào kết quả trong quá khứ: đơn giản là$Y$$p$$j$$m$

$f(j|m,p)=\binom{j}{m} p^j(1-p)^j$

Do đó, biểu thức trở thành

$Pr(j|m,n,k)=\int_0^1 \binom{j}{m} p^j(1-p)^j Pr(p|n,k)dp=\int_0^1 \binom{j}{m} p^j(1-p)^j Beta(\alpha+k,\beta+n-k)dp$

Kết quả của tích phân này là một phân phối nổi tiếng được gọi là phân phối Beta-Binomial: bỏ qua các đoạn, chúng ta có được biểu hiện khủng khiếp

$Pr(j|m,n,k)=\frac{m!}{j!(m-j)!}\frac{\Gamma(\alpha+\beta+n)}{\Gamma(\alpha+k)\Gamma(\beta+n-k)}\frac{\Gamma(\alpha+k+j)\Gamma(\beta+n+m-k-j)}{\Gamma(\alpha+\beta+n+m)}$

Ước tính điểm của chúng tôi cho , mất bậc hai, tất nhiên là giá trị trung bình của phân phối này, nghĩa là,$j$

$\mu=\frac{m(\alpha+k)}{(\alpha+\beta+n)}$

Bây giờ, hãy tìm một khoảng dự đoán. Vì đây là một bản phân phối rời rạc, chúng tôi không có một biểu hiện hình thức đóng cửa cho , sao cho P r ( j 1 ≤ j ≤ j 2 ) = 0,95 . Lý do là, tùy thuộc vào cách bạn xác định một lượng tử, đối với phân phối rời rạc, hàm lượng tử không phải là hàm hoặc là hàm không liên tục. Nhưng đây không phải là vấn đề lớn: đối với m nhỏ , bạn chỉ cần viết ra xác suất m P r ( j = $[j_1,j_2]$$Pr(j_1\leq j \leq j_2)= 0.95$$m$$m$ và từ đây tìm j 1 , j 2 sao cho$Pr(j=0|m,n,k),Pr(j\leq 1|m,n,k),\dots,Pr(j \leq m-1|m,n,k)$$j_1,j_2$

$Pr(j_1\leq j \leq j_2)=Pr(j\leq j_2|m,n,k)-Pr(j < j_1|m,n,k)\geq 0.95$

Tất nhiên bạn sẽ tìm thấy nhiều hơn một cặp vợ chồng, vì vậy bạn sẽ lý tưởng nhất là tìm kiếm nhỏ nhất sao cho thỏa mãn ở trên. Lưu ý rằng$[j_1,j_2]$

$Pr(j=0|m,n,k)=p_0,Pr(j\leq 1|m,n,k)=p_1,\dots,Pr(j \leq m-1|m,n,k)=p_{m-1}$

chỉ là các giá trị của CMF (Hàm khối tích lũy) của phân phối Beta-Binomial và do đó có biểu thức dạng đóng , nhưng điều này là về hàm siêu bội tổng quát và do đó khá phức tạp. Tôi chỉ muốn cài đặt gói R extraDistrvà gọi pbbinomđể tính CMF của bản phân phối Beta-Binomial. Cụ thể, nếu bạn muốn tính toán tất cả các xác suất trong một lần, chỉ cần viết:$p_0,\dots,p_{m-1}$

library(extraDistr)  
jvec <- seq(0, m-1, by = 1) 
probs <- pbbinom(jvec, m, alpha = alpha + k, beta = beta + n - k)

nơi alphavà betalà những giá trị của các thông số của Beta trước đó, ví dụ, bạn và β (do đó 1 nếu bạn đang sử dụng một bộ đồng phục trước khi qua p ). Tất nhiên mọi thứ sẽ đơn giản hơn nhiều nếu R cung cấp hàm lượng tử cho phân phối Beta-Binomial, nhưng thật không may là không.$\alpha$$\beta$$p$

Ví dụ thực tế với giải pháp Bayes

Đặt , k = 70 (do đó ban đầu chúng tôi quan sát thấy 70 thành công trong 100 thử nghiệm). Chúng tôi muốn ước tính điểm và khoảng thời gian dự đoán 95% cho số lần thành công j trong m = 20 thử nghiệm tiếp theo . Sau đó$n=100$$k=70$$j$$m=20$

n <- 100
k <- 70
m <- 20
alpha <- 1
beta  <- 1

trong đó tôi giả sử đồng phục trước : tùy thuộc vào kiến ​​thức trước cho ứng dụng cụ thể của bạn, điều này có thể hoặc không thể là ưu tiên tốt. Như vậy$p$

bayesian_point_estimate <- m * (alpha + k)/(alpha + beta + n) #13.92157

Rõ ràng một ước tính không nguyên cho không có ý nghĩa, vì vậy chúng ta chỉ có thể làm tròn đến số nguyên gần nhất (14). Sau đó, cho khoảng dự đoán:$j$

jvec <- seq(0, m-1, by = 1)
library(extraDistr)
probabilities <- pbbinom(jvec, m, alpha = alpha + k, beta = beta + n - k)

Xác suất là

> probabilities
 [1] 1.335244e-09 3.925617e-08 5.686014e-07 5.398876e-06
 [5] 3.772061e-05 2.063557e-04 9.183707e-04 3.410423e-03
 [9] 1.075618e-02 2.917888e-02 6.872028e-02 1.415124e-01
[13] 2.563000e-01 4.105894e-01 5.857286e-01 7.511380e-01
[17] 8.781487e-01 9.546188e-01 9.886056e-01 9.985556e-01

Đối với một bằng đuôi xác suất khoảng thời gian, chúng tôi muốn nhỏ mà P r ( j ≤ j 2 | m , n , k ) ≥ 0.975 và lớn j 1 mà P r ( j < j 1 | m , n , k ) = P r ( j ≤ j 1 - 1 | m , n , $j_2$$Pr(j\leq j_2|m,n,k)\ge 0.975$$j_1$ . Bằng cách này, chúng ta sẽ có$Pr(j < j_1|m,n,k)=Pr(j \le j_1-1|m,n,k)\le 0.025$

$Pr(j_1\leq j \leq j_2|m,n,k)=Pr(j\leq j_2|m,n,k)-Pr(j < j_1|m,n,k)\ge 0.975-0.025=0.95$

Do đó, bằng cách xem xét các xác suất trên, chúng ta thấy rằng và j 1 = 9 . Xác suất của khoảng dự đoán Bayes này là 0,9778494, lớn hơn 0,95. Chúng ta có thể tìm thấy các khoảng thời gian ngắn hơn sao cho P r ( j 1 ≤ j ≤ j 2 | m , n , k ) ≥ 0,95 , nhưng trong trường hợp đó, ít nhất một trong hai bất đẳng thức cho xác suất đuôi sẽ không được thỏa mãn.$j_2=18$$j_1=9$$Pr(j_1\leq j \leq j_2|m,n,k)\ge 0.95$

Giải pháp thường xuyên

Tôi sẽ theo dõi sự đối xử của Krishnamoorthy và Peng, 2011 . Đặt và X ∼ B i n o m ( n , p ) được phân phối độc lập Binominally. Chúng tôi muốn có một 1 - 2 α - khoảng thời gian dự đoán cho Y , dựa trên một sự quan sát của X . Nói cách khác, chúng tôi tìm I = [ L ( X ; $Y\sim Binom(m,p)$$X\sim Binom(n,p)$$1-2\alpha-$$Y$$X$ sao cho:$I=[L(X;n,m,\alpha),U(X;n,m,\alpha)]$

$Pr_{X,Y}(Y\in I)=Pr_{X,Y}(L(X;n,m,\alpha)\leq Y\leq U(X;n,m,\alpha)]\geq 1-2\alpha$

" " là do thực tế là chúng ta đang xử lý một biến ngẫu nhiên rời rạc, và do đó chúng ta không thể mong đợi có được phạm vi bảo hiểm chính xác ... nhưng chúng ta có thể tìm kiếm một khoảng luôn có ít nhất là phạm vi bảo hiểm danh nghĩa , do đó, một khoảng bảo thủ. Bây giờ, có thể chứng minh rằng phân phối có điều kiện của X cho X + Y = k + j = s là siêu bội với cỡ mẫu s , số lần thành công trong dân số n và kích thước dân số n + m . Do đó, pmf có điều kiện là$\geq 1-2\alpha$$X$$X+Y=k+j=s$$s$$n$$n+m$

$Pr(X=k|X+Y=s,n,n+m)=\frac{\binom{n}{k}\binom{m}{s-k}}{\binom{m+n}{s}}$

The conditional CDF of $X$ given $X+Y=s$ is thus

$Pr(X\leq k|s,n,n+m)=H(k;s,n,n+m)=\sum_{i=0}^k\frac{\binom{n}{i}\binom{m}{s-i}}{\binom{m+n}{s}}$

The first great thing about this CDF is that it doesn't depend on $p$, which we don't know. The second great thing is that it allows to easily find our PI: as a matter of fact, if we observed a value $k$ of X, then the $1-\alpha$ lower prediction limit is the smallest integer $L$ such that

$Pr(X\geq k|k+L,n,n+m)=1-H(k-1;k+L,n,n+m)>\alpha$

correspondingly, the the $1-\alpha$ upper prediction limit is the largest integer such that

$Pr(X\leq k|k+U,n,n+m)=H(k;k+U,n,n+m)>\alpha$

Thus, $[L,U]$ is a prediction interval for $Y$ of coverage at least $1-2\alpha$. Note that when $p$ is close to 0 or 1, this interval is conservative even for large $n$, $m$, i.e., its coverage is quite larger than $1-2\alpha$.

Practical example with the Frequentist solution

Same setting as before, but we don't need to specify $\alpha$ and $\beta$ (there are no priors in the Frequentist framework):

n <- 100
k <- 70
m <- 20

The point estimate is now obtained using the MLE estimate for the probability of successes, $\hat{p}=\frac{k}{n}$, which in turns leads to the following estimate for the number of successes in $m$ trials:

frequentist_point_estimate <- m * k/n #14

For the prediction interval, the procedure is a bit different. We look for the largest $U$ such that $Pr(X\leq k|k+U,n,n+m)=H(k;k+U,n,n+m)>\alpha$, thus let's compute the above expression for all $U$ in $[0,m]$:

jvec <- seq(0, m, by = 1)
probabilities <- phyper(k,n,m,k+jvec)

We can see that the largest $U$ such that the probability is still larger than 0.025 is

jvec[which.min(probabilities > 0.025) - 1] # 18

Same as for the Bayesian approach. The lower prediction bound $L$ is the smallest integer such that $Pr(X\geq k|k+L,n,n+m)=1-H(k-1;k+L,n,n+m)>\alpha$, thus

probabilities <- 1-phyper(k-1,n,m,k+jvec)
jvec[which.max(probabilities > 0.025) - 1] # 8

Thus our frequentist "exact" prediction interval is $[L,U]=[8,18]$.