Làm thế nào để phát hiện cái nào là nghiên cứu tốt hơn khi chúng cho bạn kết quả mâu thuẫn?

Bạn thường xuyên đi qua báo chí các nghiên cứu khác nhau mà kết luận hướng kết quả ngược lại. Những thứ này có thể liên quan đến việc thử nghiệm một loại thuốc theo toa mới hoặc bằng khen của một chất dinh dưỡng cụ thể hoặc bất cứ thứ gì khác cho vấn đề đó.

Khi hai nghiên cứu như vậy đi đến kết quả mâu thuẫn, làm thế nào bạn có thể biết một trong hai nghiên cứu gần nhất với sự thật?

Tôi nghĩ câu trả lời của Jeromy là đủ nếu bạn đang kiểm tra hai nghiên cứu thử nghiệm hoặc phân tích tổng hợp thực tế. Nhưng thường thì chúng ta phải đối mặt với việc kiểm tra hai nghiên cứu phi thực nghiệm và được giao nhiệm vụ đánh giá tính hợp lệ của hai phát hiện khác nhau đó.

Như danh sách các câu hỏi tạp hóa của Cyrus cho thấy, bản thân chủ đề không thể đáp ứng ngắn, và toàn bộ các cuốn sách về bản chất là nhằm giải quyết một câu hỏi như vậy. Đối với bất kỳ ai quan tâm đến việc tiến hành nghiên cứu về dữ liệu phi thực nghiệm, tôi rất khuyến nghị bạn đọc

Các thiết kế thử nghiệm và bán thử nghiệm cho suy luận nguyên nhân tổng quát của William R. Shadish, Thomas D. Cook, Donald Thomas Campbell (Ngoài ra tôi đã nghe nói rằng các phiên bản cũ hơn của văn bản này cũng tốt như vậy).

Một số mục mà Jeromy đề cập (cỡ mẫu lớn hơn và độ nghiêm ngặt về phương pháp lớn hơn) và mọi thứ mà Cyrus đề cập sẽ được coi là thứ mà Campbell và Cook gọi là "Hiệu lực nội bộ". Chúng bao gồm các khía cạnh của thiết kế nghiên cứu và các phương pháp thống kê được sử dụng để đánh giá mối quan hệ giữa X và Y. Đặc biệt là các nhà phê bình, chúng tôi lo ngại về các khía cạnh có thể làm sai lệch kết quả và làm giảm độ tin cậy của các phát hiện. Vì đây là một diễn đàn dành cho phân tích thống kê, phần lớn các câu trả lời tập trung vào các phương pháp thống kê để đảm bảo các ước tính không thiên vị về bất kỳ mối quan hệ nào bạn đang đánh giá. Nhưng chúng là những khía cạnh khác của thiết kế nghiên cứu không liên quan đến phân tích thống kê làm giảm tính hợp lệ của các phát hiện cho dù người ta đi sâu vào phân tích thống kê nào (chẳng hạn như Cyrus đề cập đến một số khía cạnh của độ trung thực thử nghiệm có thể được giải quyết nhưng không được giải quyết phương pháp thống kê, và nếu chúng xảy ra sẽ luôn làm giảm tính hợp lệ của kết quả nghiên cứu). Có nhiều khía cạnh khác của tính hiệu lực nội bộ trở nên quan trọng để đánh giá khi so sánh kết quả của các nghiên cứu phi thực nghiệm không được đề cập ở đây và các khía cạnh của các thiết kế nghiên cứu có thể phân biệt độ tin cậy của các phát hiện. Tôi không nghĩ nó khá thích hợp để đi vào quá nhiều chi tiết ở đây,

Campbell và Cook cũng đề cập đến "tính hợp lệ bên ngoài" của các nghiên cứu. Khía cạnh này của thiết kế nghiên cứu thường có phạm vi nhỏ hơn nhiều và không đáng được quan tâm nhiều như hiệu lực nội bộ. Hiệu lực bên ngoài về cơ bản liên quan đến tính tổng quát của các phát hiện, và tôi sẽ nói rằng giáo dân thường có thể đánh giá tính hợp lệ bên ngoài một cách hợp lý miễn là họ quen thuộc với chủ đề này. Câu chuyện dài đọc cuốn sách của Shadish, Cook và Campbell.

Các tài liệu phân tích meta có liên quan đến câu hỏi của bạn. Sử dụng các kỹ thuật phân tích tổng hợp, bạn có thể tạo ra một ước tính về tác động của lợi ích được tập hợp trong các nghiên cứu. Các kỹ thuật như vậy thường nghiên cứu trọng lượng về kích thước mẫu của họ.

Trong bối cảnh phân tích meta, các nhà nghiên cứu nói về các mô hình hiệu ứng cố định và hiệu ứng ngẫu nhiên (xem Hunter và Schmidt, 2002 ). Một mô hình hiệu ứng cố định giả định rằng tất cả các nghiên cứu đang ước tính cùng một hiệu ứng dân số. Một mô hình hiệu ứng ngẫu nhiên giả định rằng các nghiên cứu khác nhau về hiệu ứng dân số đang được ước tính. Một mô hình hiệu ứng ngẫu nhiên thường thích hợp hơn.

Khi nhiều nghiên cứu tích lũy nhìn vào một mối quan hệ cụ thể, các phương pháp tinh vi hơn trở nên khả thi. Ví dụ, bạn có thể mã hóa các nghiên cứu theo các đặc tính khác nhau, chẳng hạn như chất lượng cảm nhận, sau đó kiểm tra theo kinh nghiệm xem kích thước hiệu ứng có thay đổi theo các đặc điểm nghiên cứu này hay không. Ngoài chất lượng, có thể có một số khác biệt về mặt lý thuyết giữa các nghiên cứu sẽ điều chỉnh mối quan hệ (ví dụ, đặc trưng của mẫu, mức liều, v.v.).

Nói chung, tôi có xu hướng tin tưởng các nghiên cứu với:

• cỡ mẫu lớn hơn
• sự nghiêm ngặt về phương pháp
• một định hướng xác nhận (ví dụ, không phải là một nghiên cứu mà họ đã thử nghiệm về mối tương quan giữa 100 chất dinh dưỡng khác nhau và 50 kết quả sức khỏe)
• không có xung đột lợi ích (ví dụ, không phải bởi một công ty có lợi ích thương mại trong việc thể hiện mối quan hệ; không phải bởi một nhà nghiên cứu có động cơ để tìm thấy một kết quả quan trọng)

Nhưng điều đó nói rằng bạn cần giữ lấy mẫu ngẫu nhiên và sự khác biệt có ý nghĩa về mặt lý thuyết giữa các nghiên cứu như một lời giải thích hợp lý về kết quả nghiên cứu mâu thuẫn.

Tôi sẽ không xem xét phân tích tổng hợp cho đến khi bạn xem xét kỹ lưỡng các nguồn nếu sự thiên vị hoặc biến thiên tiềm năng trong quần thể mục tiêu. Nếu đây là những nghiên cứu về hiệu quả điều trị, liệu điều trị có được chỉ định ngẫu nhiên không? Có sự sai lệch so với giao thức? Có sự không tuân thủ? Có thiếu dữ liệu kết quả? Các mẫu được vẽ từ cùng một khung? Có từ chối tham gia? Lỗi thực hiện? Các lỗi tiêu chuẩn đã được tính toán chính xác, chiếm tỷ lệ phân cụm và mạnh mẽ cho các giả định tham số khác nhau? Chỉ sau khi bạn trả lời những câu hỏi này, tôi mới nghĩ các vấn đề phân tích tổng hợp bắt đầu được đưa vào bức tranh. Hiếm khi có bất kỳ hai nghiên cứu phân tích tổng hợp nào là phù hợp, trừ khi bạn sẵn sàng đưa ra các giả định anh hùng.