Ý nghĩa của năng lượng thấp trong khoa học thần kinh sau khi kết hợp kết quả của nhiều phân tích tổng hợp (Nút et al 2013)

Trong một bài viết đánh giá năm 2013 trên tạp chí Nature Neuroscience, Button et al. Mất điện: tại sao cỡ mẫu nhỏ làm giảm độ tin cậy của khoa học thần kinh , nó đã được tuyên bố rằng:

sức mạnh thống kê trung bình của các nghiên cứu trong khoa học thần kinh là rất thấp

Họ đã tìm kiếm các phân tích tổng hợp, tính toán sức mạnh hậu hoc trong mỗi một trong số họ, và kết hợp các kết quả bằng cách lấy sức mạnh hậu trung bình. Trung vị là 20%. Tôi chỉ không nhận được nó. Sức mạnh hậu hoc luôn gắn liền với các giá trị p đạt được. Nó không giống như viết rằng giá trị p trung bình là khoảng ~ 0,3 tương ứng với sức mạnh sau hoc 20%?

Vì vậy, về cơ bản làm thế nào kết quả này làm suy yếu chất lượng nghiên cứu trong khoa học thần kinh? Có vẻ như họ đã xuất bản các nghiên cứu với rất nhiều giá trị p không đáng kể.

Đánh giá này là một nghiên cứu khoa học thần kinh tự nhiên với các tác giả rất nổi tiếng, vì vậy tôi nghĩ rằng sự giải thích của tôi có nhiều khả năng thiếu sót.

EDIT: Tôi sẽ thấy một số điểm nếu chúng chỉ bao gồm các nghiên cứu có ý nghĩa danh nghĩa. Trong trường hợp đó, sức mạnh trung bình sẽ cho biết xác suất sao chép trung bình của những phát hiện quan trọng.

Tôi không quen thuộc với nghiên cứu cụ thể này nhưng quen thuộc với việc ước tính sức mạnh của một lĩnh vực nghiên cứu sử dụng phân tích tổng hợp. Câu nói của bạn rằng "sức mạnh bài hoc luôn gắn liền với giá trị p đạt được" gợi ý cho tôi rằng bạn giả định rằng sức mạnh bài hoc cho mỗi nghiên cứu riêng lẻ đóng góp vào một phân tích tổng hợp duy nhất dựa trên giả định rằng hiệu ứng quan sát được bằng hiệu ứng dân số thực sự. Chỉ với giả định đó, sức mạnh bài hoc sẽ liên quan đến giá trị p (cá nhân tôi thấy hình thức phân tích sức mạnh bài hoc này là vô nghĩa, nhưng đó là một chủ đề hơi lạc hậu).

Những gì tôi tin rằng các tác giả của bài báo này đang làm, cho rằng đó là những gì thường được thực hiện, là giả định rằng ý nghĩa phân tích tổng hợp là hiệu ứng dân số thực sự và ước tính sức mạnh cho các nghiên cứu đóng góp vào giá trị đó, chứ không phải hiệu quả quan sát của mỗi nghiên cứu. Do đó, công suất trung bình trong phân tích tổng hợp là một hàm của hiệu ứng trung bình tổng phân tích tổng thể và kích thước mẫu (hoặc sai số chuẩn) của từng nghiên cứu. Họ đã làm điều này cho mỗi phân tích tổng hợp và tính toán sức mạnh trung bình trên chúng.