Bị giằng xé giữa phương pháp tiếp cận PET-PEESE và đa cấp để phân tích tổng hợp: có phương tiện hạnh phúc không?

Tôi hiện đang làm việc trên một phân tích tổng hợp, trong đó tôi cần phân tích nhiều kích thước hiệu ứng được lồng trong các mẫu. Tôi là một phần của phương pháp phân tích meta ba cấp độ của Cheung (2014) đối với các kích thước hiệu ứng phụ thuộc phân tích meta, trái ngược với một số chiến lược có thể khác (ví dụ: bỏ qua sự phụ thuộc, kích thước hiệu ứng trung bình trong các nghiên cứu, chọn một kích thước hiệu ứng hoặc chuyển đơn vị phân tích). Nhiều kích thước hiệu ứng phụ thuộc của tôi là các mối tương quan liên quan đến các biến khá đặc biệt (nhưng liên quan đến chủ yếu), do đó, tính trung bình trên chúng không có ý nghĩa về mặt khái niệm và thậm chí nếu có, nó sẽ cắt giảm gần một nửa kích thước hiệu ứng để phân tích.

Tuy nhiên, đồng thời, tôi cũng quan tâm đến việc sử dụng phương pháp của Stanley & Doucouliagos (2014) để giải quyết xu hướng xuất bản trong quá trình ước tính hiệu ứng phân tích tổng hợp. Tóm lại, một trong hai phù hợp với mô hình hồi quy meta dự đoán kích thước hiệu ứng nghiên cứu theo phương sai tương ứng của chúng (kiểm tra hiệu ứng chính xác hoặc PET) hoặc các lỗi tiêu chuẩn tương ứng của chúng (ước tính hiệu ứng chính xác với sai số chuẩn hoặc PEESE). Tùy thuộc vào tầm quan trọng của việc chặn trong mô hình PET, người ta sẽ sử dụng phương thức chặn từ mô hình PET (nếu chặn PET p > 0,05) hoặc mô hình PEESE (nếu PET chặn p <0,05) làm ấn phẩm ước tính- kích thước hiệu ứng trung bình không thiên vị.

Tuy nhiên, vấn đề của tôi bắt nguồn từ trích đoạn này của Stanley & Doucouliagos (2014):

Trong các mô phỏng của chúng tôi, luôn luôn có sự không đồng nhất không giải thích được; do đó, bằng cách thực hành thông thường, [các công cụ ước tính hiệu ứng ngẫu nhiên] nên được ưu tiên hơn FEE [công cụ ước tính hiệu ứng cố định]. Tuy nhiên, thực tế thông thường là sai khi có lựa chọn xuất bản. Với lựa chọn có ý nghĩa thống kê, REE luôn thiên vị hơn FEE (Bảng 3). Sự thấp kém có thể dự đoán được này là do thực tế rằng bản thân REE là trung bình có trọng số của giá trị trung bình đơn giản, có độ lệch xuất bản lớn nhất và FEE.

Đoạn văn này khiến tôi tin rằng tôi không nên sử dụng PET-PEESE trong các mô hình phân tích meta hiệu ứng ngẫu nhiên / hiệu ứng hỗn hợp, nhưng một mô hình phân tích meta đa cấp dường như cần một công cụ ước tính hiệu ứng ngẫu nhiên.

Tôi rách việc phải làm gì. Tôi muốn có thể mô hình hóa tất cả các kích thước hiệu ứng phụ thuộc của mình, nhưng đồng thời tận dụng lợi thế của phương pháp sửa lỗi đặc biệt này để thiên vị xuất bản. Có cách nào để tôi tích hợp hợp pháp chiến lược phân tích tổng hợp 3 cấp độ với PET-PEESE không?

Người giới thiệu

Cheung, MWL (2014). Mô hình hóa kích thước hiệu ứng phụ thuộc với phân tích tổng hợp ba cấp độ: Phương pháp mô hình hóa phương trình cấu trúc. Phương pháp tâm lý , 19 , 211-229.

Stanley, TD, & Doucouliagos, H. (2014). Các xấp xỉ hồi quy meta để giảm độ lệch lựa chọn xuất bản. Phương pháp tổng hợp nghiên cứu , 5 , 60-78.

Tôi đã làm việc trên một phân tích tổng hợp theo cách tiếp cận chủ yếu là cách tiếp cận Cheung (nhưng không phải là 3 cấp độ) và gần đây đã bắt gặp cách tiếp cận PET-PEESE để điều chỉnh sai lệch xuất bản. Tôi cũng bị thu hút bởi sự kết hợp của hai cách tiếp cận. Cho đến nay kinh nghiệm của tôi. Tôi nghĩ có hai cách để giải quyết vấn đề của bạn. Một đơn giản và một phức tạp hơn.

Trích dẫn dưới đây dường như gợi ý rằng các hiệu ứng ngẫu nhiên làm trầm trọng thêm xu hướng xuất bản vì vậy đối với tôi, dường như nếu bạn nghi ngờ xu hướng xuất bản là một vấn đề, bạn không thể đơn giản sử dụng mô hình hiệu ứng ngẫu nhiên.

Với lựa chọn có ý nghĩa thống kê, REE luôn thiên vị hơn FEE (Bảng 3). Sự thấp kém có thể dự đoán được này là do thực tế rằng bản thân REE là trung bình có trọng số của giá trị trung bình đơn giản, có độ lệch xuất bản lớn nhất và FEE.

Tôi cho rằng sự thiên vị xuất bản là một mối quan tâm nghiêm trọng.

Cách tiếp cận đơn giản: Mô hình tính không đồng nhất trong PET-PEESE

Nếu tôi hiểu chính xác các câu hỏi, tôi nghĩ cách tiếp cận này là điểm khởi đầu thực dụng nhất.

Cách tiếp cận PET-PEESE cho vay các phần mở rộng cho hồi quy siêu phân tích. Nếu nguồn không đồng nhất bắt nguồn chủ yếu từ các biến khác nhau trong kích thước hiệu ứng thì bạn có thể mô hình tính không đồng nhất dưới dạng hiệu ứng cố định bằng cách bao gồm các biến chỉ báo (1/0) cho mỗi biến *. Ngoài ra, nếu bạn nghi ngờ rằng một số biến có thuộc tính đo lường tốt hơn hoặc liên quan chặt chẽ hơn đến cấu trúc quan tâm của bạn, bạn có thể muốn xem xét kiểu phân tích meta của Hunter và Schmidt. Họ đề xuất một số sửa chữa cho lỗi đo lường.

Cách tiếp cận này có thể sẽ cho bạn một ý tưởng ban đầu về quy mô của xu hướng xuất bản thông qua các lệnh chặn PET và PEESE và về sự không đồng nhất dựa trên phương sai trong các hiệu ứng cố định.

Cách tiếp cận phức tạp hơn: Sự không đồng nhất về mô hình và xu hướng xuất bản rõ ràng

Ý tôi là bạn mô hình hóa rõ ràng sự xuất hiện của xu hướng xuất bản theo bài báo của Stanley và Doucouliagos. Bạn cũng phải viết rõ ràng ba cấp độ của Cheung dưới dạng hiệu ứng ngẫu nhiên. Nói cách khác, cách tiếp cận này đòi hỏi bạn phải tự xác định khả năng và có thể sẽ là một đóng góp về phương pháp.

Tôi nghĩ rằng có thể chỉ định khả năng như vậy (với các linh mục phù hợp) theo cách tiếp cận Bayes phân cấp trong Stan và sử dụng các ước tính sau. Các nhãn hiệu có một đoạn ngắn trên phân tích meta. Danh sách người dùng cũng rất hữu ích.

Cách tiếp cận thứ hai có lẽ là quá mức cần thiết cho những gì bạn muốn ở giai đoạn này nhưng nó có thể đúng hơn so với cách tiếp cận đầu tiên. Và tôi sẽ quan tâm đến việc nó hoạt động.

* Nếu bạn có nhiều biến số (và không có nhiều kích thước hiệu ứng) thì tốt hơn là nên nhóm các biến tương tự thành các nhóm (vâng, đó là một lệnh gọi phán đoán) và sử dụng các biến chỉ báo nhóm.