Lưu ý: Nếu bạn muốn có câu trả lời nhanh cho câu hỏi của mình về việc sử dụng bài kiểm tra không đồng nhất để đưa ra quyết định này, hãy cuộn xuống " Những biện minh nào hợp lý? ".
Có một vài biện minh (một số ít / ít hợp lý hơn các biện pháp khác) mà các nhà nghiên cứu đưa ra cho việc lựa chọn tổng hợp phân tích meta hiệu ứng cố định so với hiệu ứng ngẫu nhiên. Chúng được thảo luận trong sách giáo khoa phân tích tổng hợp giới thiệu, như Borenstein et al. (2009), Thẻ (2011) và Cooper (2017).
Không lên án hay lên án bất kỳ lời biện minh nào (chưa), chúng bao gồm:
Biện minh cho việc lựa chọn mô hình hiệu ứng cố định
- Đơn giản phân tích : Một số người cảm thấy việc tính toán / giải thích mô hình hiệu ứng ngẫu nhiên nằm ngoài sự hiểu biết thống kê của họ, và do đó gắn bó với một mô hình đơn giản hơn. Với mô hình hiệu ứng cố định, nhà nghiên cứu chỉ cần ước tính độ biến thiên của kích thước hiệu ứng do lỗi lấy mẫu. Dù tốt hay xấu, đây là một cách thực hành được khuyến khích rõ ràng trong Thẻ (2011).
Niềm tin trước khi không có biến thiên / điều hành ở cấp độ nghiên cứu: Nếu một nhà nghiên cứu tin rằng tất cả các kích thước hiệu ứng trong mẫu của họ chỉ khác nhau do lỗi lấy mẫu - và không có biến thiên cấp độ nghiên cứu có hệ thống (và do đó không có người điều hành - sẽ không có Tôi nghĩ rằng sự biện minh này và đôi khi đôi khi tay trong tay, khi một nhà nghiên cứu cảm thấy phù hợp với một mô hình hiệu ứng ngẫu nhiên là vượt quá khả năng của họ, và sau đó hợp lý hóa quyết định này bằng cách tuyên bố, sau đó thực tế là họ không lường trước được bất kỳ mức độ không đồng nhất ở cấp độ nghiên cứu thực sự.
Người điều hành có hệ thống đã được xem xét kỹ lưỡng: Một số nhà nghiên cứu có thể sử dụng phân tích hiệu ứng cố định sau khi họ đã điều tra và tính đến mọi người điều hành mà họ có thể nghĩ ra. Lý do cơ bản ở đây là một khi nhà nghiên cứu đã tính đến mọi nguồn biến thiên cấp độ có thể hiểu được / có ý nghĩa, tất cả những gì còn lại là lỗi lấy mẫu, và do đó mô hình hiệu ứng ngẫu nhiên sẽ không cần thiết.
- Q
- Ý định thực hiện các suy luận hạn chế / cụ thể : Các mô hình hiệu ứng cố định phù hợp để nói về các mẫu hiệu ứng hoàn toàn trong mẫu hiệu ứng. Do đó, một nhà nghiên cứu có thể biện minh cho việc phù hợp với mô hình hiệu ứng cố định nếu họ chỉ thoải mái nói với những gì đang diễn ra trong mẫu của họ và không suy đoán về những gì có thể xảy ra trong các nghiên cứu bị bỏ qua khi xem xét hoặc trong các nghiên cứu sau khi xem xét.
Biện minh cho việc lựa chọn một mô hình hiệu ứng ngẫu nhiên
Niềm tin trước vào Biến đổi / Điều hành ở cấp độ nghiên cứu : Trái ngược với Biện minh 2. (ủng hộ các mô hình hiệu ứng cố định), nếu nhà nghiên cứu dự đoán rằng sẽ có một số lượng thay đổi cấp độ nghiên cứu có ý nghĩa (và do đó điều độ), họ sẽ mặc định để chỉ định một mô hình hiệu ứng ngẫu nhiên. Nếu bạn đến từ một nền tảng tâm lý học (tôi làm), điều này đang trở thành một cách suy nghĩ mặc định ngày càng được khuyến khích về kích thước hiệu ứng (ví dụ, xem Cumming, 2014).
QQQ
Q
Ý định đưa ra những suy luận rộng rãi / khái quát hóa : Không giống như các mô hình hiệu ứng cố định, các mô hình hiệu ứng ngẫu nhiên cho phép một nhà nghiên cứu nói (ở một mức độ nào đó) ngoài mẫu của họ, về mặt mô hình hiệu ứng / kiểm duyệt sẽ diễn ra trong một tài liệu rộng hơn. Nếu mức độ suy luận này là mong muốn đối với một nhà nghiên cứu, do đó họ có thể thích một mô hình hiệu ứng ngẫu nhiên.
Hậu quả của việc chỉ định mô hình sai
Mặc dù không phải là một phần rõ ràng trong câu hỏi của bạn, tôi nghĩ điều quan trọng là chỉ ra lý do tại sao điều quan trọng đối với nhà nghiên cứu là "làm cho đúng" khi lựa chọn giữa các mô hình phân tích meta hiệu ứng cố định và hiệu ứng ngẫu nhiên: chủ yếu dựa vào ước tính độ chính xác và sức mạnh thống kê .
Các mô hình hiệu ứng cố định mạnh hơn về mặt thống kê với nguy cơ mang lại các ước tính chính xác giả tạo; mô hình hiệu ứng ngẫu nhiên ít mạnh mẽ hơn về mặt thống kê, nhưng có khả năng hợp lý hơn nếu có sự không đồng nhất thực sự. Trong bối cảnh thử nghiệm của người điều hành, các mô hình hiệu ứng cố định có thể đánh giá thấp mức độ sai số của lỗi, trong khi các mô hình hiệu ứng ngẫu nhiên có thể đánh giá quá mức phạm vi sai số (tùy thuộc vào giả định mô hình hóa của chúng được đáp ứng hay vi phạm, xem Overton, 1998). Một lần nữa, trong các tài liệu tâm lý học, có một ý nghĩa ngày càng tăng rằng lĩnh vực này đã phụ thuộc quá nhiều vào các phân tích meta hiệu ứng cố định, và do đó chúng ta đã tự lừa dối bản thân về một sự chắc chắn / chính xác hơn trong các hiệu ứng của chúng ta (xem Schmidt et al ., 2009).
Những biện minh nào là hợp lý?
QQQ có khả năng được cung cấp năng lượng thấp để phát hiện sự không đồng nhất có ý nghĩa (hoặc cung cấp năng lượng quá mức để phát hiện số lượng không đồng nhất tầm thường).
Phân tích đơn giản ( Biện minh 1. ) có vẻ như là một lời biện minh khác cho các mô hình hiệu ứng cố định khó có thể thành công (vì những lý do mà tôi nghĩ là rõ ràng hơn). Lập luận rằng tất cả các điều hành có thể đã cạn kiệt ( Mặt khác, 3. ), mặt khác, có thể hấp dẫn hơn trong một số trường hợp, nếu nhà nghiên cứu có thể chứng minh rằng họ đã xem xét / mô hình hóa một loạt các biến số của người điều hành. Nếu họ chỉ mã hóa một vài người điều hành, thì sự biện minh này có thể sẽ được xem là khá đặc biệt / mỏng manh.
Để dữ liệu đưa ra quyết định thông qua mô hình hiệu ứng ngẫu nhiên mặc định ( Justifying 8. ) là một điều mà tôi cảm thấy không chắc chắn. Đó chắc chắn không phải là một quyết định chủ động / nguyên tắc, nhưng kết hợp với sự thay đổi của lĩnh vực tâm lý theo hướng thích các mô hình hiệu ứng ngẫu nhiên như một mặc định, nó có thể chứng minh là một sự biện minh có thể chấp nhận (mặc dù không phải là đặc biệt chu đáo).
Điều đó để lại những biện minh liên quan đến niềm tin trước đó về phân phối hiệu ứng ( Biện minh 2. và Biện minh 6. ) và những biện pháp liên quan đến các loại suy luận mà nhà nghiên cứu muốn được cấp phép để đưa ra ( Biện minh 5. và Biện minh 9.). Tính hợp lý của niềm tin trước đây về phân phối hiệu ứng sẽ chủ yếu dựa vào các tính năng của nghiên cứu mà bạn đang tổng hợp; như Cooper (2017) lưu ý, nếu bạn đang tổng hợp các hiệu ứng của các quá trình cơ học / phổ quát, được thu thập từ các bối cảnh / mẫu tương tự nhau và trong các môi trường được kiểm soát chặt chẽ, phân tích hiệu ứng cố định có thể hoàn toàn hợp lý. Kết quả tổng hợp từ các bản sao của cùng một thí nghiệm sẽ là một ví dụ điển hình về việc khi nào chiến lược phân tích này có thể được mong muốn (xem. Goh et al., 2016). Tuy nhiên, nếu bạn đang tổng hợp một lĩnh vực nơi thiết kế, thao tác, đo lường, bối cảnh và đặc điểm mẫu khác nhau khá nhiều, thì dường như ngày càng khó để tranh luận rằng một người đang nghiên cứu chính xáchiệu ứng tương tự trong mỗi trường hợp. Cuối cùng, các loại suy luận mà người ta muốn đưa ra dường như là vấn đề sở thích / sở thích cá nhân, vì vậy tôi không chắc người ta sẽ bắt đầu tranh luận / chống lại sự biện minh này như thế nào miễn là nó có thể phòng thủ được về mặt khái niệm.
Người giới thiệu
Borenstein, M., Hedges, LV, Higgins, JPT, & Rothstein, HR (2009). Giới thiệu về phân tích tổng hợp . Tây Sussex, Anh: Wiley.
Thẻ, NA (2011). Ứng dụng phân tích tổng hợp cho nghiên cứu khoa học xã hội. New York, NY: Nhà xuất bản Guilford.
Cooper, H. (2017). Tổng hợp nghiên cứu và phân tích tổng hợp: Cách tiếp cận từng bước. Ngàn Bàu, CA: Hiền nhân.
Cumming, G. (2014). Các thống kê mới: Tại sao và như thế nào. Khoa học tâm lý , 25 (1), 7-29.
Goh, JX, Hội trường, JA, & Rosenthal, R. (2016). Mini Meta ‐ Phân tích các nghiên cứu của riêng bạn: Một số lập luận về lý do và nguyên tắc về cách thức. La bàn tâm lý xã hội và nhân cách , 10 (10), 535-549.
Overton, RC (1998). So sánh các mô hình hiệu ứng cố định và hỗn hợp (hiệu ứng ngẫu nhiên) cho các thử nghiệm phân tích tổng hợp các hiệu ứng biến điều hành. Phương pháp tâm lý , 3 (3), 354-379.
Schmidt, FL, Oh, IS, & Hayes, TL (2009). Đã sửa lỗi các mô hình hiệu ứng ‐ so với ngẫu nhiên trong phân tích meta:: Thuộc tính mô hình và so sánh thực nghiệm về sự khác biệt trong kết quả. Tạp chí tâm lý học thống kê và toán học của Anh , 62 (1), 97-128.