Xác thực kiểm tra web a / b bằng cách chạy lại một thử nghiệm - điều này có hợp lệ không?

Một hội thảo trực tuyến vào một ngày khác bởi một công ty thử nghiệm a / b có "Nhà khoa học dữ liệu" thường trú của họ giải thích rằng bạn nên xác thực kết quả của mình bằng cách chạy lại thử nghiệm. Tiền đề là, nếu bạn chọn độ tin cậy 95%, có 5% (1/20) cơ hội dương tính giả. Nếu bạn chạy lại thử nghiệm của mình với cùng một ràng buộc, thì bây giờ có 1/400 (tôi giả sử họ đã xác định đây là 0,05 ^ 2 = 1/400)

Đây có phải là một tuyên bố hợp lệ? (nghĩa là "chạy hai lần, hai lần có ý nghĩa thống kê thắng = 1/400 xác suất dương tính giả")? Nó sẽ là một cách tiếp cận tốt hơn để tăng mức độ quan trọng của bạn?

Từ quan điểm kinh doanh, mối quan tâm của tôi là khi chạy lại thử nghiệm, bạn sẽ đưa nhiều người dùng đến một trang kém hơn (điều trị) và do đó mất đi doanh số tiềm năng.

Bỏ qua các xác suất của một dương tính giả hiện tại, tôi sẽ xem xét nó như thế này:

1. Nếu bạn chạy thử nghiệm hai lần một kết quả giống nhau, bạn sẽ không biết liệu có hai kết quả dương tính thật hay hai kết quả dương tính giả liên tiếp.
2. Nếu bạn chạy thử nghiệm hai lần và nhận được hai kết quả khác nhau, thì bạn không biết đâu là kết quả dương tính thật và đâu là kết quả dương tính giả.

Trong cả hai trường hợp, bạn nên chạy thử nghiệm thứ ba, chỉ để chắc chắn. Điều này có thể tốt cho các thử nghiệm tương đối rẻ tiền, nhưng khi chi phí có khả năng cao (như mất khách hàng), bạn thực sự cần phải xem xét lợi ích.

Nhìn vào xác suất, lần đầu tiên bạn chạy thử nghiệm, có 1/20 khả năng dương tính giả. Lần thứ hai bạn chạy thử nghiệm, vẫn có 1/20 cơ hội dương tính giả (nghĩ về nó như một con súc sắc trong đó mỗi cuộn có 1/6 cơ hội có được một số nhất định). Chỉ có 1/400 cơ hội có hai dương tính giả liên tiếp.

Vấn đề thực sự là có một giả thuyết được xác định rõ ràng với các quy trình nghiêm ngặt và có kích thước mẫu, mức độ lỗi và khoảng tin cậy mà bạn có thể sống hoặc chi trả. Sự lặp lại của thí nghiệm nên được để lại để khám phá

1. khách hàng theo thời gian
2. những thay đổi được thực hiện bởi tổ chức
3. những thay đổi của cuộc thi

thay vì kết quả đoán thứ hai. Mặc dù giải thích điều này cho các nhà quản lý nói dễ hơn làm.

Vâng, tuyên bố đó là chính xác, giả sử thử nghiệm của bạn là lý tưởng. Nhưng có được một thử nghiệm lý tưởng là cách khó hơn tình cảm này mang lại sự tin cậy. Dữ liệu "thế giới thực" lộn xộn, phức tạp và khó diễn giải ngay từ đầu. Có rất nhiều chỗ để phân tích thiếu sót, các biến ẩn (rất hiếm khi "cùng một ràng buộc") hoặc thông tin sai lệch giữa một nhà khoa học dữ liệu thực hiện công việc của họ và một nhà điều hành đánh dấu làm việc của họ.

Từ quan điểm kinh doanh đảm bảo phương pháp tốt và không quá tự tin vào kết quả; một thử thách khó khăn hơn bạn nghĩ Một khi bạn nhận được những xuống, sau đó làm việc trên 5% đó.