Làm thế nào một người thường xuyên tính toán cơ hội mà nhóm A đánh bại nhóm B về phản ứng nhị phân

... (Tùy chọn) trong ngữ cảnh Google Web Tối ưu hóa.

Giả sử bạn có hai nhóm và một biến phản ứng nhị phân. Bây giờ bạn nhận được kết quả sau:

Bản gốc : 401 thử nghiệm, 125 thử nghiệm thành công
Kết hợp16 : 441 thử nghiệm, 141 thử nghiệm thành công

Sự khác biệt không có ý nghĩa thống kê, tuy nhiên người ta có thể tính xác suất Tổ hợp16 sẽ đánh bại Bản gốc.

Để tính toán "Cơ hội để đánh bại bản gốc", tôi đã sử dụng một cách tiếp cận bayes, tức là thực hiện tích hợp monte carlo hai chiều trong các khoảng tin cậy kiểu Bayes (phân phối beta, (0,0) trước). Đây là mã:

trials <- 10000
resDat<-data.frame("orig"=rbeta(trials,125+1,401-125+1),
                    "opt"=rbeta(trials,144+1,441-144+1))
length(which(resDat$opt>resDat$orig))/trials

Kết quả này là 0,6764.

Kỹ thuật nào mà một người thường xuyên sử dụng để tính toán "Cơ hội để đánh bại ..."? Có lẽ chức năng sức mạnh của bài kiểm tra chính xác của Fisher?

Tùy chọn: Bối cảnh của Trình tối ưu hóa web của Google

Trình tối ưu hóa web của Google là một công cụ để kiểm soát Thử nghiệm đa biến hoặc Thử nghiệm A / B. Đây chỉ là một giới thiệu vì điều này không quan trọng đối với chính câu hỏi.

Ví dụ được trình bày ở trên được lấy từ trang giải thích của Google Web Tối ưu hóa (GWO), mà bạn có thể tìm thấy ở đây (vui lòng cuộn xuống phần " Phạm vi tỷ lệ chuyển đổi ước tính "), cụ thể từ hình 2.

Ở đây, GWO cung cấp 67,8% cho "Cơ hội để đánh bại Bản gốc", khác một chút so với kết quả của tôi. Tôi đoán Google sử dụng một cách tiếp cận giống như thường xuyên hơn và tôi tự hỏi: nó có thể là gì?

EDIT: Vì câu hỏi này gần như đã biến mất (tôi đoán vì tính chất quá cụ thể của nó), tôi đã đánh giá lại nó để được quan tâm chung.

bayesian ab-test

— steffen
nguồn

Theo quan điểm thường xuyên, Bản gốc hoặc nhịp đập Kết hợp, hoặc không. Không có "cơ hội" hoặc xác suất liên quan.

— charles.y.zheng

@ charles.y.zheng hm ... bạn có thể tính toán sức mạnh của một bài kiểm tra, tức là xác suất giả thuyết Null bị từ chối giả sử các tham số thực. Làm thế nào bạn sẽ gọi đó?

— steffen

α

$\alpha$

@ charles.y.zheng Tôi biết điều đó;). Nếu bạn nghĩ rằng xác suất như vậy không thể được tính bởi những người thường xuyên, tại sao không gửi nó dưới dạng câu trả lời. Nếu cộng đồng đồng ý, tôi rất vui khi chấp nhận nó :).

— steffen

@steffen: Mức ý nghĩa của một bài kiểm tra dễ dàng đạt được bằng cách tính toán hoặc mô phỏng. Mức công suất của một bài kiểm tra chỉ được xác định đối với một phương án cụ thể. Đó là lý do tại sao không thể tính được "sức mạnh" chung của bài kiểm tra; một khái niệm như vậy không thể được định nghĩa.

— charles.y.zheng

Tôi sẽ coi đây là cơ hội để giải thích một số vấn đề cơ bản liên quan đến sự khác biệt giữa số liệu thống kê thường xuyên và Bayes, bằng cách diễn giải các thông lệ thường xuyên theo quan điểm của Bayes.

$D_1$ $D_2$ $p_1$ $p_2$ $f_i(p_i)$ $F_i(p_i)$ $p_1 > p_2$

P [p_{1} > p_{2}; f_{1}, f_{2}] = \frac{\int_{0}^{1} \int_{0}^{1} I (p_{1} > p_{2}) P [D_{1} | p_{1}] P [D_{2} | p_{1}] d F_{1} (p_{1}) d F_{2} (p_{2})}{\int_{0}^{1} \int_{0}^{1} P [D_{1} | p_{1}] P [D_{2} | p_{1}] d F_{1} (p_{1}) d F_{2} (p_{2})}

$P[p_1 > p_2;f_1,f_2] = \frac{\int_0^1 \int_0^1 I(p_1 > p_2) P[D_1|p_1] P[D_2|p_1] dF_1(p_1) dF_2(p_2)}{\int_0 ^1 \int_0^1 P[D_1|p_1] P[D_2|p_1] dF_1(p_1) dF_2(p_2) }$

$f_1(p_1)$ $f_2(p_2)$

$\theta$

$g_{\theta_i}(p_i)$

g_{θ_{i}} (p_{i}) = δ (θ_{i})

$g_{\theta_i}(p_i) = \delta (\theta_i)$

$\theta_i$

P [p_{1} > p_{2}; g_{θ_{1}}, g_{θ_{2}}] = δ_{θ_{1}, θ_{2}}

$P[p_1 > p_2;g_{\theta_1},g_{\theta_2}] = \delta_{\theta_1, \theta_2}$

$\theta_1 = \theta_2$

Do đó, người thường xuyên giữ im lặng. (Hoặc, thay vào đó, đưa ra tuyên bố tầm thường: "Xác suất nằm trong khoảng từ 0 đến 1 ...")

— charles.y.zheng
nguồn

Xin lỗi, tôi đã sai. Cuối cùng tôi đã học được (trong số những người khác ở đây ), rằng những người thường xuyên thậm chí không được phép tính khoảng tin cậy trên dữ liệu thực nghiệm. Do đó, những ý tưởng tiếp theo của tôi (mà tôi không tiết lộ) về cách một người thường xuyên trả lời câu hỏi của tôi cũng đều sai. Tôi hơi không an tâm, tuy nhiên, vì câu hỏi có 4 nhưng câu trả lời của bạn không phải là một câu trả lời duy nhất :(.

— steffen

Bây giờ tôi không thoải mái với sự pha trộn giữa các ý tưởng bay bổng và thường xuyên (ví dụ như khi bạn nói những người thường xuyên đối phó với các linh mục (mà họ không làm, phải không?)). Có thể câu trả lời chỉ đơn giản là khi bạn đưa ra các bình luận: Một người thường xuyên không thể trả lời câu hỏi, vì nó sai trong triển vọng thế giới của anh ấy (như Dikran đã viết ở đây ) Xin lỗi lần nữa vì đã không tin bạn sớm hơn.

— steffen

Có lẽ cách giải thích của tôi không phải là chủ đạo như tôi tin, nhưng về bản chất không có gì sai khi đặt các phương pháp thường xuyên và Bayes trên cùng một bước. Xem Lý thuyết ước tính điểm của Lehmann và Casella, trong đó phương pháp thường xuyên và Bayes được so sánh thông qua lý thuyết quyết định thống kê.

— charles.y.zheng