Tại sao kiểm tra giả thuyết thường xuyên trở nên thiên vị đối với việc bác bỏ giả thuyết khống với các mẫu đủ lớn?

Tôi chỉ đọc bài viết này về yếu tố Bayes cho một vấn đề hoàn toàn không liên quan khi tôi tình cờ thấy đoạn văn này

Thử nghiệm giả thuyết với các yếu tố Bayes mạnh hơn thử nghiệm giả thuyết thường xuyên, vì dạng Bayes tránh sai lệch lựa chọn mô hình, đánh giá bằng chứng ủng hộ giả thuyết null, bao gồm độ không đảm bảo của mô hình và cho phép so sánh các mô hình không lồng nhau (mặc dù mô hình phải được so sánh có cùng biến phụ thuộc). Ngoài ra, các thử nghiệm có ý nghĩa thường xuyên trở nên thiên vị trong việc bác bỏ giả thuyết khống với kích thước mẫu đủ lớn. [nhấn mạnh thêm]

Tôi đã thấy tuyên bố này trước đây trong bài báo năm 2012 của Karl Friston trên tờ NeuroImage , nơi ông gọi đó là sai lầm của suy luận cổ điển .

Tôi đã có một chút khó khăn khi tìm một tài khoản sư phạm thực sự về lý do tại sao điều này là đúng. Cụ thể, tôi đang tự hỏi:

1. tại sao điều này xảy ra
2. làm thế nào để bảo vệ chống lại nó
3. thất bại, làm thế nào để phát hiện ra nó

Trả lời cho câu hỏi 1: Điều này xảy ra do giá trị trở nên nhỏ tùy ý khi kích thước mẫu tăng trong các thử nghiệm thường xuyên về sự khác biệt (tức là các thử nghiệm với giả thuyết không có sự khác biệt / một số dạng bằng) khi chênh lệch thực sự chính xác bằng 0 , trái ngược với số 0 tùy ý, không thực tế (xem bình luận của Nick Stauner cho OP). Giá trị trở nên nhỏ tùy ý vì lỗi thống kê kiểm tra thường xuyên thường giảm theo cỡ mẫu, với kết quả là tất cả các khác biệt đều có ý nghĩa đối với mức tùy ý với cỡ mẫu đủ lớn . Cosma Shalizi đã viết một cách uyên bác về điều này .$p$$p$

Trả lời cho câu hỏi 2: Trong khuôn khổ kiểm tra giả thuyết thường xuyên, người ta có thể bảo vệ chống lại điều này bằng cách không suy luận chỉ về việc phát hiện sự khác biệt . Ví dụ, người ta có thể kết hợp các suy luận về sự khác biệt và tương đương để người ta không ủng hộ (hoặc xúi giục!) Gánh nặng bằng chứng về bằng chứng về hiệu lực so với bằng chứng không có hiệu lực . Bằng chứng về sự vắng mặt của một hiệu ứng đến từ, ví dụ:

1. hai thử nghiệm một phía cho tương đương (TOST),
2. kiểm tra tương đương mạnh mẽ nhất cho tương đương , và
3. phương pháp khoảng tin cậy để tính tương đương (ví dụ: nếu % CI thống kê kiểm định là trong các tiên phạm vi -defined tương đương / phù hợp, sau đó một kết luận tương đương tại mức ý nghĩa).$1-2\alpha$$\alpha$

Tất cả những gì các phương pháp tiếp cận này đều chia sẻ là một quyết định tiên nghiệm về kích thước hiệu ứng tạo thành sự khác biệt có liên quan và giả thuyết khống đóng khung về sự khác biệt ít nhất là lớn như những gì được coi là có liên quan.

Suy luận kết hợp từ các thử nghiệm về sự khác biệt và các thử nghiệm về tính tương đương, do đó bảo vệ chống lại sự thiên vị mà bạn mô tả khi kích thước mẫu lớn theo cách này (bảng hai nhân hai cho thấy bốn khả năng do các thử nghiệm kết hợp cho giả thuyết null khác biệt của nhà nghiên cứu, H Tương đương với nhau và giả thuyết null negativist null, H ):- $_{0}^{+}$$_{0}^{-}$

Chú ý góc phần tư phía trên bên trái: một thử nghiệm áp đảo là một trong những nơi có bạn bác bỏ giả thuyết không có sự khác biệt, nhưng bạn cũng bác bỏ giả thuyết của sự khác biệt có liên quan, do đó, có có sự khác biệt, nhưng bạn phải tiên quyết định bạn không quan tâm đến Nó vì nó quá nhỏ.

Trả lời cho câu hỏi 3: Xem câu trả lời cho 2.

Các xét nghiệm thường xuyên với các mẫu lớn KHÔNG thể hiện sự thiên vị đối với việc từ chối giả thuyết null nếu giả thuyết null là đúng. Nếu các giả định của thử nghiệm là hợp lệ và giả thuyết null là đúng thì sẽ không có nhiều rủi ro về một mẫu lớn dẫn đến bác bỏ giả thuyết null so với một mẫu nhỏ. Nếu null không đúng thì chúng tôi chắc chắn sẽ vui lòng từ chối nó, vì vậy thực tế là một mẫu lớn sẽ thường xuyên từ chối null sai hơn một mẫu nhỏ không phải là 'thiên vị' mà là hành vi phù hợp.

Nỗi sợ hãi về 'các thí nghiệm áp đảo' dựa trên việc cho rằng việc từ chối giả thuyết khống khi nó gần như không phải là một điều tốt. Nhưng nếu nó chỉ gần đúng thì nó thực sự là sai! Từ chối, nhưng không nhận thấy (và báo cáo rõ ràng) kích thước hiệu ứng quan sát được. Nó có thể nhỏ không đáng kể và do đó không đáng để xem xét nghiêm túc, nhưng quyết định về vấn đề đó phải được đưa ra sau khi xem xét thông tin từ bên ngoài bài kiểm tra giả thuyết.