Công thức cho thử nghiệm A / B Bayes không có ý nghĩa gì

Tôi đang sử dụng công thức từ thử nghiệm ab Bayesian để tính kết quả xét nghiệm AB bằng phương pháp Bayesian.

Ở đâu

• $\alpha_A$ trong một cộng với số lần thành công cho A
• $\beta_A$ trong một cộng với số lần thất bại cho A
• $\alpha_B$ trong một cộng với số lần thành công cho B
• $\beta_B$ trong một cộng với số lần thất bại cho B
• $B$ là hàm Beta

Dữ liệu ví dụ:

control: 1000 trials with 78 successes
test: 1000 trials with 100 successes

Một thử nghiệm chống đỡ phi tiêu chuẩn Bayes cho tôi kết quả quan trọng (p <10%):

prop.test(n=c(1000,1000), x=c(100,78), correct=F)

#   2-sample test for equality of proportions without continuity correction
# 
# data:  c(100, 78) out of c(1000, 1000)
# X-squared = 2.9847, df = 1, p-value = 0.08405
# alternative hypothesis: two.sided
# 95 percent confidence interval:
#  -0.0029398  0.0469398
# sample estimates:
# prop 1 prop 2 
#  0.100  0.078 

trong khi việc thực hiện công thức Bayes (sử dụng các giải thích trong liên kết) đã cho tôi kết quả rất kỳ lạ:

# success control+1
a_control <- 78+1
# failures control+1
b_control <- 1000-78+1
# success control+1
a_test <- 100+1
# failures control+1
b_test <- 1000-100+1

is_control_better <- 0
for (i in 0:(a_test-1) ) {
  is_control_better <- is_control_better+beta(a_control+i,b_control+b_test) / 
                       (b_test+i)*beta(1+i,b_test)*beta(a_control,b_control)

}

round(is_control_better, 4)
# [1] 0

điều đó có nghĩa rằng $P(TEST > CONTROL)$ là $0$ , mà không thực hiện bất kỳ ý nghĩa cho dữ liệu này.

Ai đó có thể làm rõ?

Trên trang web bạn trích dẫn có một thông báo

Hàm beta tạo ra số lượng rất lớn, vì vậy nếu bạn nhận được các giá trị vô hạn trong chương trình của mình, hãy chắc chắn làm việc với logarit, như trong đoạn mã trên. Chức năng log-beta của thư viện chuẩn của bạn sẽ có ích ở đây.

vì vậy việc thực hiện của bạn là sai. Dưới đây tôi cung cấp mã sửa:

a_A <- 78+1
b_A <- 1000-78+1
a_B <- 100+1
b_B <- 1000-100+1

total <- 0

for (i in 0:(a_B-1) ) {
  total <- total + exp(lbeta(a_A+i, b_B+b_A)
                       - log(b_B+i)
                       - lbeta(1+i, b_B)
                       - lbeta(a_A, b_A))

}

Nó xuất ra tổng = 0,9576921, đó là "tỷ lệ cược B sẽ đánh bại A trong thời gian dài" (trích dẫn liên kết của bạn) những gì nghe có vẻ hợp lệ vì B trong ví dụ của bạn có tỷ lệ lớn hơn. Vì vậy, nó không phải là giá trị p mà là xác suất mà B lớn hơn A (bạn không hy vọng nó sẽ <0,05).

Bạn có thể chạy các mô phỏng đơn giản để kiểm tra kết quả:

set.seed(123)

# does Binomial distributions with proportions
# from your data give similar estimates?

mean(rbinom(n, 1000, a_B/1000)>rbinom(n, 1000, a_A/1000))

# and does values simulated in a similar fashion to
# the model yield similar results?

fun2 <- function(n=1000) {
  pA <- rbeta(1, a_A, b_A)
  pB <- rbeta(1, a_B, b_B)
  mean(rbinom(n, 1000, pB) > rbinom(n, 1000, pA))
}

summary(replicate(1000, fun2(1000)))

Trong cả hai trường hợp, câu trả lời là có.

Về mã, lưu ý rằng vòng lặp là không cần thiết và nói chung chúng làm mọi thứ chậm hơn trong R, vì vậy bạn có thể sử dụng thay thế vapplycho mã sạch hơn và nhanh hơn một chút:

fun <- function(i) exp(lbeta(a_A+i, b_B+b_A)
             - log(b_B+i)
             - lbeta(1+i, b_B)
             - lbeta(a_A, b_A))

sum(vapply(0:(a_B-1), fun, numeric(1)))