Cỡ mẫu không bằng nhau: Khi nào gọi nó là thoát

Tôi đang xem xét một bài báo trên tạp chí học thuật và các tác giả đã viết như sau để biện minh cho việc không báo cáo bất kỳ số liệu thống kê suy luận nào (tôi đã xác định rõ bản chất của hai nhóm):

Tổng cộng, 25 của 2349 (1,1%) được hỏi cho biết X . Chúng tôi không kiềm chế trình bày các phân tích so sánh thống kê nhóm X với nhóm Y (2.324 người tham gia khác) vì những kết quả đó có thể bị chi phối rất nhiều bởi cơ hội có kết quả hiếm gặp này.

Câu hỏi của tôi là các tác giả của nghiên cứu này có lý khi ném vào khăn liên quan đến việc so sánh các nhóm? Nếu không, tôi có thể giới thiệu gì cho họ?

Kiểm tra thống kê không đưa ra giả định về kích thước mẫu. Tất nhiên, có những giả định khác nhau với các thử nghiệm khác nhau (ví dụ: tính quy tắc), nhưng sự bằng nhau của kích thước mẫu không phải là một trong số chúng. Trừ khi thử nghiệm được sử dụng không phù hợp theo một cách khác (tôi không thể nghĩ ra vấn đề ngay bây giờ), tỷ lệ lỗi loại I sẽ không bị ảnh hưởng bởi các kích thước nhóm không đồng đều. Hơn nữa, phrasing của họ ngụ ý (với tâm trí của tôi) rằng họ tin rằng nó sẽ. Vì vậy, họ bối rối về những vấn đề này.

Mặt khác, tỷ lệ lỗi loại II rất nhiều sẽ bị ảnh hưởng bởi s rất không đồng đều . Điều này sẽ đúng cho dù thử nghiệm là gì (ví dụ: t -test, Mann-Whitney U -test hoặc z -test về sự bình đẳng về tỷ lệ đều sẽ bị ảnh hưởng theo cách này). Để biết ví dụ về điều này, hãy xem câu trả lời của tôi ở đây: Làm thế nào người ta nên diễn giải việc so sánh các phương tiện từ các cỡ mẫu khác nhau? Vì vậy, họ cũng có thể "hợp lý trong việc ném vào khăn" đối với$n$$t$$U$$z$ này vấn đề. (Cụ thể, nếu bạn mong đợi nhận được kết quả không đáng kể cho dù hiệu quả có thật hay không, điểm của bài kiểm tra là gì?)

Khi kích thước mẫu phân kỳ, công suất thống kê sẽ hội tụ đến . Thực tế này thực sự dẫn đến một đề nghị khác, mà tôi nghi ngờ ít người từng nghe đến và có lẽ sẽ gặp khó khăn khi nhận được những người đánh giá trong quá khứ (không có ý định xúc phạm): phân tích sức mạnh thỏa hiệp . Ý tưởng là tương đối đơn giản: Trong bất kỳ phân tích năng lượng, α , β , n 1 , n 2 , và mức độ ảnh hưởng d , tồn tại trong mối quan hệ với nhau. Có chỉ định tất cả nhưng một, bạn có thể giải quyết cuối cùng. Thông thường, mọi người thực hiện những gì được gọi là phân tích sức mạnh a-prori , trong đó bạn giải quyết cho $\alpha$$\alpha$$\beta$$n_1$$n_2$$d$$N$(nói chung bạn đang giả sử ). Mặt khác, bạn có thể sửa chữa n 1 , n 2 , và d , và giải quyết cho α (hoặc tương đương β ), nếu bạn xác định tỷ lệ của loại I đến loại II tỷ lệ lỗi rằng bạn sẵn sàng sống chung với. Thông thường, α = 0,05 và β = 0,20 , vì vậy bạn đang nói rằng lỗi loại I là tồi tệ hơn bốn lần so với các lỗi loại I. Tất nhiên, một nhà nghiên cứu nhất định có thể không đồng ý với điều đó, nhưng khi đã chỉ định một tỷ lệ nhất định, bạn có thể giải quyết cho những gì $n_1=n_2$$n_1$$n_2$$d$$\alpha$$\beta$$\alpha=.05$$\beta=.20$$\alpha$bạn nên sử dụng để có thể duy trì một số năng lượng đầy đủ. Cách tiếp cận này là một lựa chọn hợp lý cho các nhà nghiên cứu trong tình huống này, mặc dù tôi thừa nhận sự kỳ lạ của phương pháp này có thể khiến nó trở nên khó bán trong cộng đồng nghiên cứu lớn hơn mà có lẽ chưa bao giờ nghe về điều đó.

Mặc dù câu trả lời từ @gung là tuyệt vời, tôi nghĩ có một vấn đề quan trọng cần được xem xét khi xem xét các quy mô nhóm khác nhau. Nói chung, miễn là tất cả các yêu cầu của thử nghiệm được đáp ứng, sự khác biệt về kích thước nhóm là không quan trọng.

Tuy nhiên, trong một số trường hợp, quy mô nhóm khác nhau sẽ có tác động mạnh mẽ đến sự mạnh mẽ của thử nghiệm chống lại các vi phạm chống lại các giả định này. Ví dụ, phép thử t ghép hai mẫu cổ điển giả định tính đồng nhất phương sai và chỉ mạnh đối với các vi phạm nếu cả hai nhóm có kích thước tương tự nhau (theo thứ tự độ lớn). Nếu không, phương sai cao hơn trong nhóm nhỏ hơn sẽ dẫn đến lỗi Loại I. Bây giờ với bài kiểm tra t, đây không phải là vấn đề vì thông thường bài kiểm tra tiếng Wales được sử dụng thay thế và nó không giả định sự đồng nhất phương sai. Tuy nhiên, hiệu ứng tương tự có thể phát sinh trong các mô hình tuyến tính.

Tóm lại, tôi sẽ nói rằng điều này không có gì cản trở việc phân tích thống kê, nhưng nó phải được ghi nhớ khi quyết định cách tiến hành.