Một nghiên cứu có nghĩa là quá sức?

Một nghiên cứu có nghĩa là quá sức?

Ấn tượng của tôi là nó có nghĩa là kích thước mẫu của bạn lớn đến mức bạn có khả năng phát hiện kích thước hiệu ứng cực nhỏ. Các kích thước hiệu ứng này có lẽ nhỏ đến mức chúng có nhiều khả năng là kết quả của những sai lệch nhỏ trong quá trình lấy mẫu so với kết nối nguyên nhân (không nhất thiết là trực tiếp) giữa các biến.

Đây có phải là trực giác chính xác? Nếu vậy, tôi không thấy vấn đề lớn là gì, miễn là kết quả được diễn giải trong ánh sáng đó và bạn kiểm tra thủ công và xem kích thước hiệu ứng ước tính có đủ lớn để "có ý nghĩa" hay không.

Tui bỏ lỡ điều gì vậy? Có một khuyến nghị tốt hơn là phải làm gì trong kịch bản này?

Tôi nghĩ rằng giải thích của bạn là không chính xác.

Bạn nói "Các kích thước hiệu ứng này có lẽ rất nhỏ do nhiều khả năng xuất phát từ những sai lệch nhỏ trong quá trình lấy mẫu so với kết nối nguyên nhân (không nhất thiết trực tiếp) giữa các biến" dường như ngụ ý rằng giá trị P trong 'quá mức' nghiên cứu không giống với giá trị P từ nghiên cứu được cung cấp 'đúng'. Điều đó là sai. Trong cả hai trường hợp, giá trị P là xác suất thu được dữ liệu cực trị như những gì được quan sát, hoặc cực đoan hơn, nếu giả thuyết null là đúng.

Nếu bạn thích cách tiếp cận Neyman - Pearson, tỷ lệ sai số dương tính giả thu được từ nghiên cứu 'cung cấp năng lượng quá mức' giống như nghiên cứu được cung cấp 'đúng' nếu sử dụng cùng một giá trị alpha cho cả hai.

Sự khác biệt trong giải thích cần thiết là có một mối quan hệ khác nhau giữa ý nghĩa thống kê và ý nghĩa khoa học đối với các nghiên cứu quá sức. Trong thực tế, nghiên cứu quá sức sẽ đưa ra một xác suất lớn để có được tầm quan trọng mặc dù hiệu quả là, như bạn nói, rất nhỏ, và do đó có tầm quan trọng đáng ngờ.

Miễn là kết quả từ một nghiên cứu 'cung cấp năng lượng quá mức' được diễn giải một cách thích hợp (và khoảng tin cậy cho kích thước hiệu ứng giúp giải thích như vậy), không có vấn đề thống kê nào với nghiên cứu 'quá sức'. Trong ánh sáng đó, tiêu chí duy nhất mà một nghiên cứu thực sự có thể được cung cấp quá mức là các vấn đề phân bổ tài nguyên và đạo đức được nêu trong các câu trả lời khác.

Trong các thử nghiệm nghiên cứu y tế có thể là phi đạo đức nếu họ tuyển dụng quá nhiều bệnh nhân. Ví dụ, nếu mục tiêu là quyết định phương pháp điều trị nào tốt hơn thì việc điều trị cho bệnh nhân bằng phương pháp điều trị tồi tệ hơn sau khi nó được thiết lập là kém hơn về mặt đạo đức. Tất nhiên, việc tăng kích thước mẫu sẽ cho bạn ước tính chính xác hơn về kích thước hiệu ứng, nhưng bạn có thể phải dừng lại trước khi ảnh hưởng của các yếu tố như "sai lệch nhỏ trong quá trình lấy mẫu" xuất hiện.

Nó cũng có thể là phi đạo đức để chi tiền công của nghiên cứu được xác nhận đầy đủ.

Tất cả những gì bạn nói đều có ý nghĩa (mặc dù tôi không biết "vấn đề lớn" mà bạn đang đề cập đến) và tôi đặc biệt. như quan điểm của bạn về kích thước hiệu ứng trái ngược với ý nghĩa thống kê. Một xem xét khác là một số nghiên cứu yêu cầu phân bổ nguồn lực khan hiếm để có được sự tham gia của từng trường hợp, và vì vậy người ta sẽ không muốn lạm dụng nó.

Kinh nghiệm của tôi đến từ các thử nghiệm A / B trực tuyến, trong đó vấn đề thường là các nghiên cứu bị thiếu hoặc đo lường những điều sai. Nhưng đối với tôi, một nghiên cứu quá sức tạo ra khoảng tin cậy hẹp hơn so với các nghiên cứu so sánh, giá trị p thấp hơn và có thể có phương sai khác nhau. Tôi tưởng tượng điều này có thể làm cho việc so sánh các nghiên cứu tương tự khó khăn hơn. Ví dụ, nếu tôi lặp lại một nghiên cứu bị áp đảo bằng cách sử dụng sức mạnh phù hợp, giá trị p của tôi sẽ cao hơn ngay cả khi tôi sao chép chính xác hiệu ứng. Kích thước mẫu tăng thậm chí có thể thay đổi hoặc giới thiệu tính biến đổi nếu có các ngoại lệ có thể có cơ hội hiển thị cao hơn trong một mẫu lớn hơn.

Ngoài ra, mô phỏng của tôi cho thấy các hiệu ứng khác với những hiệu ứng bạn quan tâm có thể trở nên quan trọng với một mẫu lớn hơn. Vì vậy, mặc dù giá trị p cho bạn biết xác suất rằng kết quả của bạn là có thật, nhưng chúng có thể là thật vì những lý do khác với những gì bạn nghĩ, ví dụ như sự kết hợp của cơ hội, một số hiệu ứng nhất thời mà bạn không kiểm soát được và có lẽ một số khác hiệu ứng nhỏ hơn mà bạn giới thiệu mà không nhận ra nó. Nếu nghiên cứu chỉ là một chút áp đảo, nguy cơ này là thấp. Vấn đề thường là khó biết được sức mạnh đầy đủ, ví dụ, nếu các số liệu cơ bản và hiệu ứng mục tiêu tối thiểu là dự đoán hoặc hóa ra khác với dự kiến.

Tôi cũng đã bắt gặp một bài báo lập luận rằng một mẫu quá lớn có thể làm cho một bài kiểm tra mức độ phù hợp quá nhạy cảm với những sai lệch không đáng kể, dẫn đến kết quả phản cảm.

Điều đó nói rằng, tôi tin rằng tốt nhất là sai ở phía cao hơn là năng lượng thấp.