Ưu và nhược điểm của phân tích tổng hợp

Tôi đã xem xét thực hiện một số phân tích tổng hợp cho một lĩnh vực nghiên cứu cụ thể trong quá trình tiến hóa, nhưng trước khi tôi đi xa hơn tôi muốn biết; những mặt tích cực và tiêu cực của quá trình là gì? Ví dụ, không cần thử nghiệm thực tế là một lợi thế (thời gian & tiền bạc) nhưng sẽ có sự thiên vị xuất bản (kết quả thú vị hơn được công bố) sẽ là một bất lợi.

Những bài báo trong các tạp chí thống kê thảo luận về ưu và nhược điểm của phân tích tổng hợp?

Giới thiệu về Phân tích tổng hợp của Borenstein, Hedges, Higgins và Rothstein cung cấp một cuộc thảo luận chi tiết về những ưu và nhược điểm của phân tích tổng hợp. Xem ví dụ chương " Phê bình phân tích tổng hợp " nơi các tác giả phản ứng với những chỉ trích khác nhau về phân tích tổng hợp. Tôi lưu ý các phần tiêu đề cho chương đó và sau đó thực hiện một vài quan sát từ bộ nhớ liên quan đến điểm đó:

• "Một số không thể tóm tắt một lĩnh vực nghiên cứu": Một phân tích tổng hợp tốt sẽ mô hình hóa sự thay đổi trong kích thước hiệu ứng thực và mô hình tính không chắc chắn của các ước tính.
• "Vấn đề ngăn kéo tệp làm mất hiệu lực phân tích meta": Sơ đồ phễu và các công cụ liên quan cho phép bạn xem kích thước mẫu có liên quan đến kích thước hiệu ứng để kiểm tra độ lệch xuất bản hay không. Phân tích tổng hợp tốt nỗ lực để có được các nghiên cứu chưa được công bố. Vấn đề này được chia sẻ với các nghiên cứu tường thuật.
• "Trộn táo và cam": Các phân tích tổng hợp tốt cung cấp một hệ thống mã hóa nghiêm ngặt để phân loại các nghiên cứu bao gồm và chứng minh sự bao gồm và loại trừ các nghiên cứu trong phân tích tổng hợp. Sau khi các nghiên cứu đã được phân loại, phân tích của người điều hành có thể được thực hiện để xem liệu kích thước hiệu ứng có khác nhau giữa các loại nghiên cứu hay không.
• "Các nghiên cứu quan trọng bị bỏ qua": Bạn có thể viết mã cho chất lượng đánh giá của các nghiên cứu. Mẫu lớn có thể được cho trọng số lớn hơn.
• "Phân tích meta có thể không đồng ý với các thử nghiệm ngẫu nhiên":
• "Phân tích tổng hợp được thực hiện kém": Đây chỉ là một đối số để cải thiện các tiêu chuẩn của phương pháp phân tích tổng hợp.
• "Đánh giá tường thuật có tốt hơn không?": Nhiều phê bình về phân tích tổng hợp (ví dụ: xu hướng xuất bản) được chia sẻ bởi các đánh giá tường thuật. Chỉ là các phương pháp suy luận ít rõ ràng hơn và ít nghiêm ngặt hơn trong các đánh giá tường thuật.

Theo kinh nghiệm của tôi khi thực hiện chúng, nếu chúng chưa được thực hiện trước đây, vì trong khi bạn không cung cấp sự thay đổi của riêng bạn trên một khu vực, thì các tạp chí phù hợp sẽ không thiên vị chống lại chúng. Một phân tích tổng hợp sẽ không nhận được trong Khoa học nhưng trong lĩnh vực của bạn, các tạp chí tốt thường ổn với các phân tích tổng hợp mới.

Thời gian và chi phí tiết kiệm không làm một thí nghiệm thường bị ăn hết khi làm những việc khác. Một trong những vấn đề lớn là nhiều bài báo không báo cáo đủ thông tin để phân tích. Bạn thường phải liên hệ với các tác giả để phục hồi điều này và họ không may tất cả thường xuyên không thể hoặc sẽ không tuân thủ các yêu cầu. Đó là thời gian lớn nhất của quá trình.

Bạn cũng bỏ lỡ một số ưu điểm như tỷ lệ trích dẫn cao. Nếu bạn là người đầu tiên và duy nhất phân tích tổng hợp, các nhà nghiên cứu mới sẽ rất thường trích dẫn bài báo của bạn. Một pro khác là nghiên cứu tiếp theo tương đối dễ dàng. Trong một hoặc hai năm, trong một lĩnh vực nghiên cứu năng động, bạn chỉ cần thêm hai năm nghiên cứu tiếp theo để theo dõi các phân tích tổng hợp. Việc phân tích tổng hợp meta trong một lĩnh vực nghiên cứu là tương đối dễ dàng nếu bạn là người đầu tiên. Sau đó dẫn đến tỷ lệ trích dẫn tương đối cao.

Nếu bạn lo ngại rằng các kết quả mà bạn truy xuất từ ​​tài liệu có xu hướng xuất bản, có các kỹ thuật thống kê như sơ đồ phễu (kích thước nghiên cứu (thường là) trên trục y và hiệu ứng trên x) có thể được sử dụng để phát hiện như vậy. Một tài liệu không thiên vị về một chủ đề sẽ có xu hướng có kết quả đối xứng trong một biểu đồ kênh nhưng hiệu ứng do sai lệch xuất bản sẽ trông giống như một nửa phân phối. Và không giống như thực hiện các thử nghiệm, nhận thấy rằng dữ liệu đi vào phân tích tổng hợp bị sai lệch là có thể xuất bản.

Tôi nghĩ rằng tôi sẽ làm một lời chỉ trích về "Phê bình phân tích tổng hợp" với lời xin lỗi tới Michael Borenstein và các đồng nghiệp.

• "Một số không thể tóm tắt một lĩnh vực nghiên cứu": Một phân tích tổng hợp tốt sẽ mô hình hóa sự thay đổi trong kích thước hiệu ứng thực và mô hình tính không chắc chắn của các ước tính.

! Phương sai chỉ là một bản tóm tắt có thể gây hiểu lầm khác là không rõ ràng và cả hai sẽ rất sai lệch nếu những thành kiến ​​gần như chắc chắn không được xử lý rõ ràng.

• "Vấn đề ngăn kéo tệp làm mất hiệu lực phân tích meta": Sơ đồ phễu và các công cụ liên quan cho phép bạn xem kích thước mẫu có liên quan đến kích thước hiệu ứng để kiểm tra độ lệch xuất bản hay không. Phân tích tổng hợp tốt nỗ lực để có được các nghiên cứu chưa được công bố. Vấn đề này được chia sẻ với các nghiên cứu tường thuật.

! Như Box đã từng nói - như gửi một chiếc thuyền chèo để xem liệu biển có đủ bình tĩnh để Nữ hoàng Mary đi vào không. Công suất rất thấp và gần như chắc chắn quy trình kiểm duyệt sai quy định .

• "Trộn táo và cam": Các phân tích tổng hợp tốt cung cấp một hệ thống mã hóa nghiêm ngặt để phân loại các nghiên cứu bao gồm và chứng minh sự bao gồm và loại trừ các nghiên cứu trong phân tích tổng hợp. Sau khi các nghiên cứu đã được phân loại, phân tích của người điều hành có thể được thực hiện để xem liệu kích thước hiệu ứng có khác nhau giữa các loại nghiên cứu hay không.

! Một lần nữa sức mạnh vô vọng và thường là thiên vị tập thể là tốt.

• "Các nghiên cứu quan trọng bị bỏ qua": Bạn có thể viết mã cho chất lượng đánh giá của các nghiên cứu. Mẫu lớn có thể được cho trọng số lớn hơn.

! Bây giờ sức mạnh vô vọng, mô hình sai đặc tả và sai lệch không phải lúc nào cũng được tính đúng để xem Về sự thiên vị được tạo ra bởi điểm chất lượng trong phân tích tổng hợp

• "Phân tích meta có thể không đồng ý với các thử nghiệm ngẫu nhiên":

! Hoàn toàn đồng ý và cũng là nguồn duy nhất về sự không chắc chắn thực sự của họ.

• "Phân tích tổng hợp được thực hiện kém": Đây chỉ là một đối số để cải thiện các tiêu chuẩn của phương pháp phân tích tổng hợp.

! Hoàn toàn đồng ý.

• "Đánh giá tường thuật có tốt hơn không?": Nhiều phê bình về phân tích tổng hợp (ví dụ: xu hướng xuất bản) được chia sẻ bởi các đánh giá tường thuật. Chỉ là các phương pháp suy luận ít rõ ràng hơn và ít nghiêm ngặt hơn trong các đánh giá tường thuật.

! Hoàn toàn đồng ý.

Không chắc tại sao nhiều người bảo trì tài liệu phân tích tổng hợp như kính màu hoa hồng - phân tích tổng hợp phải được thực hiện Phân tích tổng hợp trong nghiên cứu y học: Khuyến khích mạnh mẽ cho chất lượng cao hơn trong nỗ lực nghiên cứu cá nhân , nhưng cần được thực hiện nghiêm túc với nhận thức đầy đủ về tất cả những con hạc

Và, như tôi hầu như luôn quên, tôi cần làm rõ ý nghĩa chính xác của phân tích meta vì ý nghĩa của những gì người khác muốn thay đổi theo thời gian và địa điểm và có lẽ là ý nghĩa phổ biến nhất hiện nay - chỉ là phương pháp định lượng được sử dụng trên các số được trích xuất trong một đánh giá có hệ thống - không phải là ý tôi. Tôi có nghĩa là toàn bộ quá trình xem xét hệ thống ngay cả khi nó được quyết định không thực sự sử dụng bất kỳ phương pháp định lượng nào cả. Hoặc chỉ trong một câu như được trích dẫn trong wiki

Trong thống kê, phân tích tổng hợp đề cập đến các phương pháp tập trung vào tương phản và kết hợp các kết quả từ các nghiên cứu khác nhau, với hy vọng xác định các mẫu giữa các kết quả nghiên cứu, nguồn gốc của sự bất đồng giữa các kết quả đó hoặc các mối quan hệ thú vị khác có thể được đưa ra trong bối cảnh nhiều nghiên cứu.