Tại sao mọi người không trao đổi mức ý nghĩa cho quyền lực?

Theo quy ước, chúng tôi có rất nhiều nghiên cứu có mức ý nghĩa là và sức mạnh là . Tuy nhiên, rất hiếm khi tìm thấy một nghiên cứu có với công suất 0,95 .$0.05$$0.8$$\alpha = 0.2$$0.95$

Theo hiểu biết của tôi, sau khi một thí nghiệm được tiến hành, mức ý nghĩa hoàn toàn không thành vấn đề nếu kết quả là không đáng kể, bởi vì trong trường hợp này, chúng tôi đang xem xét liệu có hợp lý không khi chấp nhận null và tất cả chúng tôi quan tâm là sức mạnh. Tương tự, nếu kết quả là đáng kể, thì mức ý nghĩa sẽ trở thành bằng chứng của bạn, trong khi sức mạnh của bài kiểm tra tạo ra sự khác biệt hoàn toàn bằng không. (Bởi "không thành vấn đề", ý tôi là "không nhằm mục đích thử nghiệm này". Cả mức độ và sức mạnh quan trọng đều quan trọng đối với nghiên cứu meta, vì vậy vui lòng báo cáo cả trong ấn phẩm của bạn!)

Nếu tôi đúng, thì null và phương án thay thế ở một mức độ đối xứng nào đó: giả thuyết null không thực sự đòi hỏi phải bảo vệ nhiều hơn. Nếu bạn muốn chứng minh sự thay thế, hãy nói "loại thuốc mới này có tác dụng đối với bệnh nhân", sau đó sử dụng một công suất rất nhỏ và công suất cao vừa phải. Mặt khác, khi bạn muốn chứng minh null, ví dụ như trong một bài kiểm tra tính quy tắc, thì bạn nên chọn một nhỏ vừa phải và công suất rất cao, để bạn có thể tự tin chấp nhận null.$\alpha$$\alpha$

Tại sao các thí nghiệm với nhỏ vừa phải và công suất rất cao lại rất hiếm?$\alpha$

Tại sao các thí nghiệm với nhỏ vừa phải và công suất rất cao lại rất hiếm?$\alpha$

Đây chỉ là một chút tương đối, nhưng người ta chắc chắn có thể lập luận rằng mức ý nghĩa đã yếu và đã tạo thành sự hy sinh cho sức mạnh cao hơn (ví dụ, liên quan đến mức ý nghĩa hoặc các mức ý nghĩa thấp hơn khác ). Mặc dù ý kiến ​​về điều này sẽ khác nhau, nhưng quan điểm của riêng tôi là đây đã là một mức ý nghĩa rất yếu, do đó, việc lựa chọn nó hoàn toàn là một sự đánh đổi để có được sức mạnh cao hơn.$\alpha = 0.05$$\alpha = 0.01$

Theo hiểu biết của tôi, sau khi một thí nghiệm được tiến hành, mức ý nghĩa hoàn toàn không thành vấn đề nếu kết quả là không đáng kể, bởi vì trong trường hợp này, chúng tôi đang xem xét liệu có hợp lý không khi chấp nhận null và tất cả chúng tôi quan tâm là sức mạnh. Tương tự, nếu kết quả là đáng kể, thì mức ý nghĩa sẽ trở thành bằng chứng của bạn, trong khi sức mạnh của bài kiểm tra tạo ra sự khác biệt hoàn toàn bằng không.

Tôi có thể thấy lý do tại sao bạn có thể nghĩ điều này, nhưng nó không thực sự đúng. Trong thử nghiệm giả thuyết cổ điển có một sự tương tác khá phức tạp và tinh tế trong những điều này. Hãy nhớ rằng cả giá trị p và công suất đều liên quan đến xác suất dựa trên trạng thái thực của các giả thuyết (điều kiện giá trị p trên null và điều kiện công suất thay thế). Khi bạn nhận được kết quả từ dữ liệu, bạn sẽ suy luận về các giả thuyết, nhưng bạn vẫn không biết trạng thái thực sự của chúng. Do đó, không thực sự hợp pháp khi nói rằng bạn hoàn toàn có thể bỏ qua "nửa kia" của bài kiểm tra. Bất kể kết quả có ý nghĩa thống kê hay không, việc giải thích kết quả đó được thực hiện một cách toàn diện, liên quan đến tất cả các thuộc tính của xét nghiệm.

Cũng cần lưu ý rằng, đối với một mô hình và thử nghiệm cố định và kích thước mẫu cố định, hàm công suất là một hàm của mức ý nghĩa được chọn. Mức ý nghĩa được chọn xác định vùng loại bỏ, ảnh hưởng trực tiếp đến sức mạnh của thử nghiệm. Vì vậy, một lần nữa, có một mối quan hệ giữa những điều này và bạn không thể bỏ qua "một nửa" các thuộc tính của bài kiểm tra.

Đây là một nhận xét mở rộng hơn là một câu trả lời. Một quan điểm thú vị có thể được tìm thấy trong bài đăng trên blog này , một trích dẫn ngắn:

... cho rằng từ [ý nghĩa] mang ít trọng lượng hơn vào cuối thế kỷ 19, khi nó chỉ có nghĩa là kết quả cho thấy, hoặc có ý nghĩa, một cái gì đó. Sau đó, vào thế kỷ 20, tầm quan trọng bắt đầu thu thập ý nghĩa mà nó mang theo ngày nay, không chỉ biểu thị một cái gì đó mà còn biểu thị một cái gì đó quan trọng. ...

Nếu điều này là chính xác thì Fisher có thể có ý nghĩa thay vì đáng ghi lại ( ghi chú tinh thần hoặc trong sổ ghi chép trong phòng thí nghiệm), xứng đáng để điều tra hoặc nhân rộng thêm.

Bài báo psyarxiv này đề xuất giảm mức ý nghĩa tiêu chuẩn (trong nghiên cứu tâm lý học) từ 0,05 xuống 0,005 là bằng chứng nữa cho thấy nhiều người thấy (đúng ...) rằng 0,05 đã là một yêu cầu khá yếu.

Bởi vì lỗi loại II được coi là ít xảy ra sự cố hơn lỗi loại I. Lỗi loại I có ý nghĩa lớn hơn cho nghiên cứu trong tương lai. Hơn nữa, hầu hết thời gian, các thí nghiệm với công suất cao đắt hơn nhiều.

Nhưng tất nhiên bạn cũng có thể đặt câu hỏi cho cả khung NHST và cách nó thường xuyên bị lạm dụng bởi các nhà nghiên cứu không biết ...