Có phải LSD của Fisher tệ như họ nói không?

Khi chúng tôi thực hiện các thí nghiệm (trên các cỡ mẫu nhỏ (thường là cỡ mẫu trên mỗi nhóm xử lý khoảng 7 ~ 8)) trên hai nhóm, chúng tôi sử dụng thử nghiệm t để kiểm tra sự khác biệt. Tuy nhiên, khi chúng tôi thực hiện ANOVA (rõ ràng là cho hơn hai nhóm), chúng tôi sử dụng một cái gì đó dọc theo dòng Bonferroni (LSD / # so sánh theo cặp) hoặc Tukey như một bài đăng, và khi còn là học sinh, tôi đã được cảnh báo từ sử dụng sự khác biệt nhỏ nhất của Fisher (LSD).

Bây giờ vấn đề là, LSD tương tự như kiểm tra cặp đôi (tôi có đúng không?), Và điều duy nhất nó không giải thích là chúng tôi đang thực hiện nhiều so sánh. Làm thế nào quan trọng là khi giao dịch với 6 nhóm nói, nếu ANOVA là đáng kể?

Hay nói cách khác, có bất kỳ lý do khoa học / thống kê nào cho việc sử dụng LSD của Fisher không?

LSD của Fisher thực sự là một loạt các thử nghiệm t cặp, với mỗi thử nghiệm sử dụng sai số bình phương trung bình từ ANOVA đáng kể như ước tính phương sai gộp của nó (và tự nhiên lấy các mức độ tự do liên quan). ANOVA có ý nghĩa là một hạn chế bổ sung của thử nghiệm này.

Nó hạn chế tỷ lệ lỗi thông minh của gia đình đối với alpha trong trường hợp đặc biệt chỉ có 3 nhóm. Howell có một lời giải thích rất hay và tương đối đơn giản về cách thức thực hiện trong Chương 16 của cuốn sách Thống kê cơ bản cho Khoa học hành vi, ấn bản thứ 8, David C. Howell .

Trên 3 nhóm alpha tăng nhanh (như @Alexis đã lưu ý ở trên). Nó không chắc chắn thích hợp cho 6 nhóm. Tôi tin rằng chính khả năng ứng dụng hạn chế này khiến hầu hết mọi người đề nghị bỏ qua nó như một lựa chọn.

Làm thế nào quan trọng là nhiều so sánh khi giao dịch với 6 nhóm? Chà ... với sáu nhóm bạn đang giao dịch với tối đa bàiso sánhcó thểso sánh theo cặp. Tôi sẽ để Randall Munroe không thể đánh giá được tầm quan trọng của nhiều so sánh:$\frac{6(6-1)}{2} = 15$

Và tôi sẽ nói thêm rằng, như trong câu mở đầu của bạn, bạn đề nghị rằng đôi khi bạn có bảy nhóm, thì số lượng bài kiểm tra cặp bài tối đa là $\frac{7(7-1)}{2} = 21$ quá giống với kịch bản Jellybean vừa trình bày (mà cũng trình bày 21 bài kiểm tra;). Vì vậy, thực sự, trừ khi bạn muốn thế giới chế giễu bạn bằng cách liên tục gửi cho bạn các bản sao của xkcd 882 , tôi sẽ tiếp tục thực hiện nhiều điều chỉnh so sánh (như FWER, như Bonferroni hoặc Holm-Sidak , hoặc FDR như Stewamini và Hochberg ) .

Bài kiểm tra của Fisher cũng tệ như mọi người nói, đó là từ quan điểm của Neyman-Pearson và nếu bạn làm theo những gì câu hỏi của bạn ngụ ý --- sau một bài kiểm tra ANOVA quan trọng cho mỗi sự khác biệt. Bạn có thể thấy điều này trong nhiều bài báo được xuất bản . Nhưng, kiểm tra tất cả sự khác biệt sau ANOVA, hoặc bất kỳ trong số chúng, là không cần thiết cũng không được khuyến nghị. Và, thử nghiệm của Fisher không được chế tạo theo lý thuyết suy luận thống kê của Neyman-Pearson.

Điều quan trọng cần ghi nhớ là, khi Fisher đề xuất LSD, anh ấy đã không thực sự coi nhiều thử nghiệm là một vấn đề quan trọng bởi vì anh ấy đã không coi việc cắt giảm ý nghĩa là một quy tắc cứng và nhanh để quyết định liệu kết quả có quan trọng hay không. Người ta có thể xây dựng một LSD như một cách dễ dàng để kiểm tra dữ liệu về nơi có thể có kết quả quan trọng nhưng không phải là trọng tài của những gì có ý nghĩa. Hãy nhớ rằng, chính Fisher đã nói rằng bạn chỉ nên chạy nhiều môn hơn nếu p > 0,05.

Và tại sao bạn nghĩ rằng thử nghiệm mọi thứ là một ý tưởng tốt? Xem xét lý do tại sao bạn chạy ANOVA ở nơi đầu tiên. Bạn có thể được dạy rằng đó là vì việc chạy nhiều bài kiểm tra t có vấn đề, vì bạn thân mật trong câu hỏi của mình. Vậy thì tại sao bạn lại chạy chúng, hoặc tương đương với chúng sau đó? Tôi biết điều đó xảy ra nhưng tôi chưa bao giờ cần phải chạy thử sau ANOVA. Một ANOVA cho bạn biết rằng mẫu dữ liệu của bạn không phải là một tập hợp các giá trị bằng nhau, có thể có một số ý nghĩa trong đó. Nhiều người bị treo lên vì cảnh báo rằng bài kiểm tra không cho bạn biết các bit có ý nghĩa ở đâu nhưng họ quên rằng dữ liệu và lý thuyết cho bạn biết điều đó.

Lý do đằng sau LSD của Fisher có thể được mở rộng cho các trường hợp vượt quá N = 3.

Tôi sẽ thảo luận chi tiết về trường hợp của bốn nhóm. Để giữ tỷ lệ lỗi Loại I theo gia đình ở mức 0,05 trở xuống, hệ số hiệu chỉnh đa so sánh là 3 (tức là hệ số alpha so sánh 0,05 / 3) đủ, mặc dù có sáu so sánh sau hoc giữa bốn nhóm. Điều này là do:

• trong trường hợp tất cả bốn phương tiện thực sự đều bằng nhau, omnibus Anova trong bốn nhóm giới hạn tỷ lệ lỗi theo gia đình là 0,05;
• trong trường hợp ba trong số các phương tiện thực sự bằng nhau và thứ tư khác với chúng, chỉ có ba so sánh có khả năng gây ra lỗi Loại I;
• trong trường hợp hai trong số các phương tiện thực sự bằng nhau và khác với hai phương tiện còn lại bằng nhau, chỉ có hai so sánh có khả năng gây ra lỗi Loại I.

Điều này làm cạn kiệt các khả năng. Trong mọi trường hợp, xác suất tìm thấy một hoặc nhiều p dưới 0,05 đối với các nhóm có phương tiện thực sự bằng nhau, duy trì ở mức hoặc dưới 0,05 nếu hệ số hiệu chỉnh cho nhiều so sánh là 3 và đây là định nghĩa về tỷ lệ lỗi theo gia đình.

Lý do này cho bốn nhóm là một khái quát từ lời giải thích của Fisher cho phương pháp khác biệt tối thiểu ba nhóm của ông. Đối với các nhóm N , hệ số hiệu chỉnh, nếu phép thử Anova omnibus có ý nghĩa, là ( N -1) ( N -2) / 2. Vì vậy, hiệu chỉnh Bonferroni, theo hệ số N ( N -1) / 2, quá mạnh. Nó đủ để sử dụng hệ số hiệu chỉnh alpha là 1 cho N = 3 (đây là lý do tại sao LSD của Fisher hoạt động với N = 3), hệ số 3 cho N = 4, hệ số 6 cho N = 5, hệ số 10 cho N = 6, v.v.