Khi nào chấm dứt thử nghiệm A / B Bayes?

Tôi đang cố gắng thực hiện thử nghiệm A / B theo cách Bayes, như trong Lập trình xác suất cho các thử nghiệm A / B của Hacker và Bayesian . Cả hai bài viết đều cho rằng người ra quyết định quyết định biến thể nào tốt hơn chỉ dựa vào xác suất của một số tiêu chí, ví dụ , do đó, tốt hơn. Xác suất này không cung cấp bất kỳ thông tin nào về việc liệu có đủ lượng dữ liệu để rút ra bất kỳ kết luận nào từ nó hay không. Vì vậy, nó không rõ ràng với tôi, khi dừng thử nghiệm.$P(p_A > p_B) = 0.97$$A$

Giả sử có hai RVs nhị phân, và , và tôi muốn để ước tính bao nhiêu khả năng nó là , và dựa trên những quan sát của và . Ngoài ra, giả sử rằng và sau được phân phối beta.$A$$B$$p_A > p_B$$\frac{p_A - p_B}{p_A} > 5\%$$A$$B$$p_A$$p_B$

Vì tôi có thể tìm thấy các tham số cho và , tôi có thể lấy mẫu sau và ước tính . Ví dụ trong trăn:$\alpha, \beta$$p_A\,|\,\text{data}$$p_B\,|\,\text{data}$$P(p_A > p_B\ |\ \text{data})$

import numpy as np

samples = {'A': np.random.beta(alpha1, beta1, 1000),
           'B': np.random.beta(alpha2, beta2, 1000)}
p = np.mean(samples['A'] > samples['B'])

Tôi có thể nhận được, ví dụ: . Bây giờ tôi muốn có một cái gì đó như .$P(p_A > p_B) = 0.95$$P(p_A > p_B\ |\ \text{data}) = 0.95 \pm 0.03$

Tôi đã nghiên cứu về các khoảng tin cậy và các yếu tố Bayes, nhưng không thể hiểu làm thế nào để tính toán chúng cho trường hợp này nếu chúng có thể áp dụng được. Làm cách nào tôi có thể tính toán các số liệu thống kê bổ sung này để tôi có tiêu chí chấm dứt tốt?

Tôi rất vui vì bạn đã đề cập đến ví dụ này, vì một dự án tôi đang thực hiện là viết cả một chương về thử nghiệm A / B của Bayes.

Chúng tôi quan tâm đến hai số lượng: và một số biện pháp "tăng". Trước tiên, tôi sẽ thảo luận về số lượng .$P( p_A > p_B \;|\; data)$$P( p_A > p_B \;|\; data)$

Không có giới hạn lỗi trên , đó là một đại lượng thực sự. Điều này tương tự như nói "Ý nghĩa của hậu thế là gì?", Chỉ có 1 nghĩa và chúng ta có thể tính toán bằng cách lấy trung bình của tất cả các mẫu (Tôi bỏ qua mọi lỗi Monte Carlo, vì chúng có thể được giảm để không đáng kể bằng cách lấy mẫu nhiều hơn). Tôi nghĩ rằng bạn đang trộn lẫn số lượng không xác định, nơi chúng ta có thể nói điều gì đó như "+ - 3%" và số lượng được tính toán sau.$P( p_A > p_B \;|\; \text{data})$

Điều tôi đang nói là là chắc chắn: với dữ liệu quan sát và linh mục của bạn, đây là kết luận của bạn.$P(p_A > p_B \;|\; \text{data}) = 0.95$

Lưu ý rằng chúng ta sẽ biết một cách nhanh chóng: nó chỉ đòi hỏi một lượng vừa phải quan sát cho đủ khác nhau và . Khó hơn nhiều, và thú vị hơn, để đo lường mức tăng A có trên B (và thường đây là mục tiêu của thử nghiệm A / B: chúng ta tăng bao nhiêu chuyển đổi). Bạn đã đề cập rằng 5% - bạn chắc chắn về điều này như thế nào?$p_A > p_B$$p_A$$p_B$$\frac{p_A - p_B}{p_B} >$

Lưu ý rằng mặc dù là boolean và do đó dễ đo lường, chắc chắn không phải là boolean. Nó là một sự phân phối các khả năng:$p_A > p_B$$\frac{p_A - p_B}{p_B}$

Khi ngày càng có nhiều dữ liệu được thu thập, phân phối này hội tụ với mức tăng tương đối thực tế, có thể nói phân phối ổn định. Đây là nơi tôi đề nghị suy nghĩ về việc chấm dứt thử nghiệm. Khi phân phối này có vẻ "bình tĩnh" và chúng tôi có thể cảm thấy tự tin về mức tăng, sau đó chấm dứt thử nghiệm.

Tôi đã thử nghiệm các cách để ngăn chặn bài kiểm tra A / B của Bayes và bạn nói đúng - không có nhiều cách rõ ràng từ việc đi vòng quanh. Phương pháp tôi thích nhất là phương pháp dựa trên độ chính xác, dựa trên điều này: http://doingbayesiandataanalysis.blogspot.com/2013/11/optional-stopping-in-data-collection-p.html . Tuy nhiên, tôi không tìm thấy nhiều tài liệu toán học xung quanh vấn đề này, vì vậy ngay bây giờ nó chỉ là một heuristic tốt.

Tôi đã thấy rằng trong khi các thử nghiệm của mình cần chạy lâu hơn để đạt được độ chính xác mong muốn, thì nó trực quan hơn và bạn đang dành thời gian để phân phối để "bình tĩnh" trong một mục tiêu cách, tức là thay vì bắt mắt.$P(A > B | data)$

Dường như có hai cách tiếp cận chính để đưa ra quyết định trong thử nghiệm A / B của Bayes. Cuốn đầu tiên dựa trên một bài báo của John Kruschke từ Đại học Indiana (K. Kruschke, Bayesian Ước tính thay thế bài kiểm tra, Tạp chí Tâm lý học thực nghiệm: General, 142, 573 (2013)). Quy tắc quyết định được sử dụng trong bài viết này dựa trên khái niệm Vùng tương đương thực tế (ROPE).

Một khả năng khác là sử dụng khái niệm về tổn thất dự kiến. Nó đã được đề xuất bởi Chris Stucchio (C. Stucchio, Thử nghiệm A / B Bayesian tại VWO). Đó là một cách tiếp cận khác mà tôi sẽ xem xét.

Cách tiếp cận được đề xuất bởi Cam.Davidson.Pilon xem xét phân phối sau của có nhiều ý nghĩa và sẽ phù hợp với phương pháp ROPE. Sử dụng phương pháp ROPE có thêm lợi thế là đưa ra một quy tắc khi thử nghiệm không có kết quả (không chỉ khi các biến thể "A" hoặc "B" có thể được tuyên bố là người chiến thắng). $(p_A - p_B) / p_A$

Bạn có thể tìm thấy nhiều hơn trong bài đăng trên blog này: Thử nghiệm A / B Bayesian : hướng dẫn từng bước . Nó cũng bao gồm một số đoạn mã Python chủ yếu dựa trên dự án Python được lưu trữ trên Github .