Nếu nhiều so sánh được lên kế hoạch, bạn vẫn cần sửa cho nhiều so sánh?

Tôi đang xem xét một bài báo đã thực hiện> 15 bài kiểm tra Chi2 2x2 riêng biệt. Tôi đã đề nghị rằng họ cần sửa cho nhiều so sánh, nhưng họ đã trả lời rằng tất cả các so sánh đã được lên kế hoạch, và do đó điều này là không cần thiết.

Tôi cảm thấy điều này không phải là chính xác nhưng không thể tìm thấy bất kỳ tài nguyên nào nêu rõ liệu đây có phải là trường hợp không.

Có ai có thể giúp với điều này?

Cập nhật:

Cảm ơn tất cả các câu trả lời rất hữu ích của bạn. Đáp lại yêu cầu của @ gung về một số thông tin về nghiên cứu và phân tích, họ đang so sánh dữ liệu đếm cho hai loại người tham gia (sinh viên, không phải sinh viên) trong hai điều kiện, trong ba khoảng thời gian. Nhiều bài kiểm tra Chi2 2x2 đang so sánh từng khoảng thời gian, trong từng điều kiện, cho từng loại người tham gia (nếu điều đó có ý nghĩa; ví dụ: học sinh, điều kiện 1, khoảng thời gian 1 so với khoảng thời gian 2), vì vậy tất cả các phân tích đều kiểm tra cùng một giả thuyết .

Đây là IMHO một vấn đề phức tạp và tôi muốn đưa ra ba nhận xét về tình huống này.

Đầu tiên và nói chung, tôi sẽ tập trung hơn vào việc bạn có phải đối mặt với một nghiên cứu xác nhận với một loạt các giả thuyết được định hình rõ ràng được xác định trong bối cảnh tranh luận hoặc một nghiên cứu giải thích trong đó nhiều chỉ số có khả năng được quan sát hơn là chúng có được lên kế hoạch hay không (bởi vì bạn có thể chỉ đơn giản là kế hoạch để thực hiện tất cả các so sánh có thể).

Thứ hai, tôi cũng sẽ tập trung vào cách các giá trị p kết quả được thảo luận sau đó. Chúng được sử dụng riêng lẻ để phục vụ một tập hợp các kết luận dứt khoát, hoặc chúng được thảo luận chung làm bằng chứng và thiếu bằng chứng?

Cuối cùng, tôi sẽ thảo luận về khả năng giả thuyết> 15 kết quả từ> 15 phép thử chi bình phương riêng biệt trên thực tế là biểu hiện của một vài giả thuyết (có thể là một giả thuyết) có thể được tóm tắt.

Tổng quát hơn, bất kể giả thuyết có được quy định trước hay không, sửa lỗi cho nhiều so sánh hay không là vấn đề bạn đưa vào lỗi loại I. Bằng cách không sửa lỗi cho MC, bạn chỉ giữ một kiểm soát tỷ lệ lỗi loại I. Vì vậy, trong trường hợp có nhiều so sánh, bạn có tỷ lệ lỗi loại I thuộc nhóm gia đình cao và do đó dễ bị phát hiện sai hơn.

Với bản cập nhật của bạn về thiết kế, tôi sẽ đề nghị họ thực hiện một số dạng mô hình log-linear để sử dụng tất cả dữ liệu cùng một lúc. Thực hiện các phân tích bữa ăn mà họ đã làm dường như (a) không hiệu quả (b) không khoa học vì nó kiểm tra 15 giả thuyết trong đó chắc chắn có ít giả thuyết thực tế hơn.

Tôi không phải là người thích sửa lỗi cho đa bội như một phản xạ có điều kiện nhưng trong trường hợp này nếu họ từ chối cách tiếp cận phân tích sâu hơn thì tôi sẽ đề nghị họ sửa.

Nếu bạn thay thế từ 'tiền khởi đầu' cho 'dự định', điều này có thể giúp xua tan lập luận được cung cấp bởi các tác giả. Xem xét hai phân tích thống kê khác nhau của cùng một dữ liệu:

1. Một "tội phạm được dự tính trước" trong đó mọi thử nghiệm giả thuyết có thể được đặt ra trước một 'chủ mưu tội phạm thống kê', kế hoạch là thử từng cái một cách có hệ thống và chọn thử nghiệm có giá trị p nhỏ nhất làm 'phát hiện chính' để quảng bá trong phần Kết quả, Thảo luận và Kết luận của bài báo, và thực sự là Tiêu đề.
2. Một "tội ác của đam mê" trong đó ý định ban đầu chỉ đơn thuần là đối đầu với dữ liệu với một giả thuyết, nhưng "ờ ... một điều dẫn đến một điều khác" và nhiều thử nghiệm giả thuyết ad hoc "chỉ xảy ra" trong sức nóng của đam mê khoa học học "cái gì đó ... bất cứ thứ gì! " từ dữ liệu.

Dù bằng cách nào, đó là 'giết người' - câu hỏi đặt ra là ở Cấp độ thứ nhất hay Cấp độ thứ hai. Rõ ràng, đầu tiên là vấn đề đạo đức hơn. Tôi nghe có vẻ như các tác giả ở đây đang cố gắng tuyên bố điều gì đó với tác động rằng đó không phải là vụ giết người vì nó đã được dự tính trước.

Bài viết này trực tiếp giải quyết câu hỏi của bạn: http://jrp.icaap.org/index.php/jrp/article/view/514/417

(Frane, AV, "Các thử nghiệm giả thuyết có kế hoạch không nhất thiết phải được miễn trừ khỏi sự điều chỉnh đa bội", Tạp chí Thực hành Nghiên cứu, 2015)