Thử nghiệm Bayes AB

Tôi đang chạy thử nghiệm AB trên một trang chỉ nhận được 5k lượt truy cập mỗi tháng. Sẽ mất quá nhiều thời gian để đạt đến mức lưu lượng cần thiết để đo mức chênh lệch + -1% giữa kiểm tra và kiểm soát. Tôi đã nghe nói rằng tôi có thể sử dụng số liệu thống kê Bayes để cho tôi cơ hội tốt để xác định xem thử nghiệm có tốt hơn không. Làm cách nào tôi có thể sử dụng số liệu thống kê Bayes để phân tích dữ liệu hiện tại của mình?

        Visitors    Conversions
Control 1345         1165
Test A  961          298
Test B  1274         438

Tôi đang làm việc theo cách của mình thông qua các câu hỏi tương tự. Hiện tại có một vài bài viết hữu ích không có sẵn khi bạn đặt câu hỏi này.

"Bayesian A / B với các lý thuyết và mã" bởi Antti Rasinen - kết luận logic của một loạt dở dang của loạt bài "Chính xác Bayesian Suy luận cho thử nghiệm A / B" của Evan Haas (phần cứu sống ở đây part1 và part2 ).

Liên hợp trước cho phân phối nhị thức là phân phối beta. Do đó, phân phối tỷ lệ chuyển đổi cho một biến thể là phân phối beta. Bạn có thể giải bằng số hoặc chính xác. Tác giả đề cập đến một bài luận được viết bởi chính Bayes, "Một bài luận hướng tới giải quyết một vấn đề trong học thuyết về các cơ hội" .$Pr(A > B)$

"Thử nghiệm A / B theo tỷ lệ" của Ian Clarke - Tác giả giải thích rằng phân phối beta là chìa khóa để hiểu cách áp dụng giải pháp Bayes cho thử nghiệm A / B. Ông cũng thảo luận về việc sử dụng Lấy mẫu của Thompson để xác định các giá trị trước cho và .$\alpha$$\beta$

"Chương 2: Thêm một chút về PyMC" từ cuốn sách "Phương pháp Bayes cho tin tặc" của Cam Davidson Pilon - Đây là một cuốn sách iPython giải thích các phương pháp Bayes trong một số ứng dụng. Khoảng nửa chừng Chương 2 (tiêu đề của phần là Ví dụ: Thử nghiệm A / B của Bayes ), tác giả đưa ra lời giải thích chi tiết về cách tính xác suất A tốt hơn B (hoặc ngược lại) bằng thư viện pymc . Mã python đầy đủ được đưa ra, bao gồm cả âm mưu kết quả.

Hiện tại cũng có một số máy tính có ý nghĩa Bayes trực tuyến:

• bởi onlineialogue
• bởi Lyst
• bởi Yanir Seroussi

Bạn có thể thực hiện Tích hợp Monte-Carlo các khoảng đáng tin cậy của mỗi nhóm được đại diện bởi các bản phân phối beta để tính xác suất rằng tham số chưa biết thực sự của một nhóm tốt hơn tham số chưa biết thực sự của nhóm khác. Tôi đã làm một điều tương tự trong câu hỏi này Làm thế nào một người thường xuyên tính toán cơ hội nhóm A đánh bại nhóm B về phản ứng nhị phân trong đó các thử nghiệm = Khách truy cập và thử nghiệm thành công = chuyển đổi

NHƯNG: Coi chừng rằng Bayes sẽ chỉ cung cấp cho bạn xác suất chủ quan tùy thuộc vào dữ liệu được thu thập cho đến nay, chứ không phải "sự thật" khách quan. Điều này bắt nguồn từ sự khác biệt trong triết lý giữa những người thường xuyên (sử dụng các bài kiểm tra thống kê, giá trị p, v.v.) và Bayes. Do đó, bạn không thể mong đợi phát hiện sự khác biệt đáng kể khi sử dụng Bayes khi các quy trình thống kê không thực hiện được.

Để hiểu lý do tại sao điều này có thể giúp tìm hiểu sự khác biệt giữa khoảng tin cậy và khoảng tin cậy trước tiên, vì tích hợp MC "đã đề cập ở trên" so sánh hai khoảng tin cậy độc lập với nhau.

Để biết thêm chi tiết về chủ đề này, xem ví dụ: câu hỏi này:

• Bayesian và lý luận thường xuyên trong tiếng Anh đơn giản
• Chính xác thì khoảng tin cậy là gì?
• Sự khác biệt giữa khoảng tin cậy và khoảng tin cậy là gì?

Có một số cách tiếp cận để thực hiện thử nghiệm A / B Bayes.

Trước hết, bạn nên quyết định xem bạn muốn sử dụng phương pháp phân tích (sử dụng phân phối liên hợp như đề cập của Lenwood) hay phương pháp MCMC. Đối với các thử nghiệm A / B đơn giản, đặc biệt là về tỷ lệ chuyển đổi là trường hợp của bạn, thực sự không cần sử dụng phương pháp MCMC: chỉ cần sử dụng phân phối Beta làm phân phối trước và phân phối sau của bạn cũng sẽ là phân phối Beta.

Sau đó, bạn cần quyết định áp dụng quy tắc nào. Ở đây, dường như có hai cách tiếp cận chính để ra quyết định. Cuốn đầu tiên dựa trên một bài báo của John Kruschke từ Đại học Indiana (K. Kruschke, Bayesian Ước tính thay thế bài kiểm tra , Tạp chí Tâm lý học thực nghiệm: General, 142, 573 (2013).). Quy tắc quyết định được sử dụng trong bài viết này dựa trên khái niệm Vùng tương đương thực tế (ROPE).

Một khả năng khác là sử dụng khái niệm về tổn thất dự kiến. Nó đã được đề xuất bởi Chris Stucchio (C. Stucchio, Thử nghiệm A / B Bayesian tại VWO ).

Về nguyên tắc, bạn có thể sử dụng một quy tắc quyết định khác nhau.

Bạn có thể tìm thấy điều này và nhiều hơn nữa trên bài đăng trên blog này: Thử nghiệm A / B Bayesian : hướng dẫn từng bước . Nó cũng bao gồm một số đoạn mã Python và sử dụng dự án Python được lưu trữ trên Github .