Thử nghiệm nào để sử dụng để so sánh tỷ lệ giữa 3 nhóm?

Chúng tôi đang thử nghiệm một chiến dịch tiếp thị email. Trong thử nghiệm ban đầu của chúng tôi, chúng tôi đã gửi hai loại e-mail khác nhau và có một nhóm kiểm soát thứ ba không nhận được e-mail. Bây giờ chúng tôi đang nhận lại "kết quả" theo tỷ lệ người dùng đã quay lại ứng dụng của chúng tôi. Đây là kết quả:

Group | received e-mail | returned | %-returned
A | 16,895 | 934 | 5.53%
B | 17,530 | 717 | 4.09%
C | 42408 | 1618 | 3.82%

Có vẻ như Nhóm A thực sự có thể tốt hơn B và C, nhưng thử nghiệm thích hợp để thể hiện điều này là gì?

hypothesis-testing binomial multiple-comparisons

— thecity2
nguồn

Nhớ lại rằng độ lệch chuẩn của tỷ lệ trong một thí nghiệm nhị thức liên quan đến

n

$n$ kết quả độc lập với xác suất thành công

p

$p$ là

\sqrt{p (1 - p) / n}

$\sqrt{p(1-p)/n}$

p

$p$

0.18

$0.18$

0.15

$0.15$

0.09

$0.09$

5.53

$5.53$

max (4.09, 3.82)

$\max(4.09, 3.82)$

1.44

$1.44$

@whuber Chỉ cần một câu hỏi tiếp theo nhanh chóng. Trong trường hợp này, phép tính gần đúng bình thường có thể được thực hiện, nhưng nếu% của thậm chí còn nhỏ hơn, giả sử <1%. Thử nghiệm nào sẽ có ý nghĩa trong trường hợp đó?

— thecity2

Câu hỏi hay. Vấn đề không phải là tỷ lệ phần trăm mà là số lượng thực tế. Đừng lo lắng cho đến khi những số đó (hoặc phần bổ sung của họ - những con số không nhận được) vào khoảng 30 hoặc ít hơn (tùy thuộc vào mức độ rõ ràng của kết quả, đôi khi số lượng thậm chí có thể là 5). Khi phần trăm và số lượng đều thấp, thì xấp xỉ Poisson là rất lớn và bạn nên xem xét hồi quy logistic, như @gung khuyến nghị. Đó cũng là một cách tiếp cận chung tốt.

— whuber

Câu trả lời:

Trong một bảng như thế này, bạn có thể phân vùng thống kê G được tạo bởi phép thử G, thay vì tính toán OR hoặc bằng cách chạy hồi quy logistic. Mặc dù bạn phải quyết định cách bạn sẽ phân vùng nó. Ở đây, thống kê G, tương tự như X ^ 2 của Pearson và cũng tuân theo phân phối X ^ 2, là:

G = 2 * tổng (OBS * ln (OBS / EXP)).

Trước tiên, bạn tính toán cho bảng tổng thể, trong trường hợp này: G = 76,42, trên 2 df, rất có ý nghĩa (p <0,0001). Điều đó có nghĩa là tỷ lệ hoàn vốn phụ thuộc vào nhóm (A, B hoặc C).

Sau đó, vì bạn có 2 df, bạn có thể thực hiện hai bài kiểm tra G 1 df (2x2) nhỏ hơn. Tuy nhiên, sau khi thực hiện cái đầu tiên, bạn phải thu gọn các hàng của hai cấp được sử dụng trong thử nghiệm đầu tiên, sau đó sử dụng các giá trị đó để kiểm tra chúng so với cấp độ thứ ba. Ở đây, giả sử bạn kiểm tra B so với C trước.

Obs   Rec    Ret    Total
B   17530    717    18247
C   42408   1618    44026

Exp     Rec    Ret  Total
B   17562.8  684.2  18247
C   42375.2 1650.8  44026

Điều này tạo ra chỉ số G là 2,29 trên 1 df, không đáng kể (p = 0.1300). Sau đó tạo một bảng mới, kết hợp các hàng B và C. Bây giờ kiểm tra A với B + C.

Obs   Rec    Ret    Total
A   16895    934    17829
B+C 59938   2335    62273

Exp     Rec    Ret  Total
A   17101.4  727.6  17829
B+C 59731.6 2541.4  62273

Điều này tạo ra chỉ số G là 74,13, trên 1 df, cũng rất có ý nghĩa (p <0,0001).

Bạn có thể kiểm tra công việc của mình bằng cách thêm hai thống kê kiểm tra nhỏ hơn, bằng với thống kê kiểm tra lớn hơn. Nó hiện: 2,29 + 74,13 = 76,42

Câu chuyện ở đây là các nhóm B và C của bạn không khác biệt đáng kể, nhưng nhóm A có tỷ lệ hoàn vốn cao hơn B và C cộng lại.

Mong rằng sẽ giúp!

Bạn cũng có thể phân vùng G-stat khác nhau bằng cách so sánh A với B trước, sau đó C với A + B hoặc bằng cách so sánh A với C, sau đó B với A + C. Ngoài ra, bạn có thể mở rộng nhóm này thành 4 hoặc nhiều nhóm, nhưng sau mỗi lần kiểm tra, bạn phải thu gọn hai hàng mà bạn vừa kiểm tra, với số lượng thử nghiệm tối đa bằng với df trong bảng gốc của bạn. Có nhiều cách khác để phân vùng với các bảng phức tạp hơn. Cuốn sách "Phân tích dữ liệu phân loại" của Agresti, nên có các chi tiết. Cụ thể, chương của ông về suy luận cho các bảng dự phòng hai chiều.

— jww
nguồn

Tôi chỉ đơn giản sẽ tính tỷ lệ cược (hoặc rủi ro) giữa nhóm A và B, giữa B và C, và giữa A và C và xem liệu chúng có khác nhau về mặt thống kê hay không. Tôi không thấy lý do để thực hiện bài kiểm tra tỷ lệ "omnibus" trong trường hợp này vì bạn chỉ có ba nhóm. Ba bài kiểm tra chi bình phương cũng có thể thực hiện các mẹo.

Như một số cá nhân đã nêu trong các ý kiến dưới đây, và hồi quy logistic với các tương phản theo kế hoạch cũng sẽ hoạt động tốt.

— Behacad
nguồn

Có một vấn đề so sánh tiềm năng ở đây. Tại sao không thực hiện hồi quy logistic với 2 mã giả cho B & C?

— gung - Phục hồi Monica

Vâng, chắc chắn, nhưng vấn đề của nhiều so sánh là khá tối thiểu khi bạn có ba so sánh.

— Behacad

@gung làm cho một số điểm tốt. Hồi quy logistic sẽ là cách tiếp cận đơn giản nhất - và nếu một người đang thực hiện phương pháp kiểm tra chi bình phương, thì bạn gần như chắc chắn bắt đầu với một thử nghiệm omnibus (của bảng dự phòng bảng 3x2) trước khi thực hiện so sánh hai nhóm (mặc dù điều này sẽ tương ứng với tầm quan trọng "tổng thể" của mô hình hồi quy logistic phù hợp trong trường hợp này.)

— James Stanley

Sử dụng đề xuất này (và Wikipedia), tôi thấy rằng 95% CI cho tỷ lệ cược log của A / B và A / C không trùng với 0 và tỷ lệ chênh lệch log cho B / C đã trùng lặp với 0. Điều đó có biểu thị rằng A khác biệt đáng kể so với B & C?

— thecity2

@Behacad, bạn đúng khi chỉ có 3 so sánh, nhiều vấn đề so sánh sẽ ít gay gắt hơn, nhưng tôi vẫn sẽ bắt đầu với mô hình LR. Lý tưởng nhất, đó sẽ được theo dõi với các so sánh theo kế hoạch.

— gung - Phục hồi Monica