Là trọng số dựa trên độ chính xác (nghĩa là nghịch đảo) không tách rời với phân tích tổng hợp?


10

Là trọng số dựa trên độ chính xác trung tâm để phân tích tổng hợp? Borenstein và cộng sự. (2009) viết rằng để phân tích tổng hợp có thể, tất cả những gì cần thiết là:

  1. Các nghiên cứu báo cáo một ước tính điểm có thể được thể hiện dưới dạng một con số.
  2. Phương sai có thể được tính cho ước tính điểm đó.

Tôi không rõ ngay lập tức tại sao (2) là hoàn toàn cần thiết. Nhưng, thực sự, tất cả các phương pháp phân tích tổng hợp được chấp nhận rộng rãi đều dựa trên các lược đồ trọng số dựa trên độ chính xác (nghĩa là phương sai nghịch đảo), đòi hỏi phải ước tính phương sai cho mỗi kích thước hiệu ứng của nghiên cứu. Lưu ý rằng mặc dù Phương pháp của Hedges (Hedges & Olkin, 1985; Hedges & Vevea, 1998) và Phương pháp của Hunter và Schmidt (Hunter & Schmidt, 2004) về cơ bản đều sử dụng trọng số cỡ mẫu, nhưng các phương pháp này chỉ áp dụng cho sự khác biệt trung bình bình thường, và do đó yêu cầu một độ lệch chuẩn ở nơi khác. Điều có nghĩa là các trọng số tỷ lệ nghịch với phương sai trong mỗi nghiên cứu sẽ giảm thiểu phương sai trong công cụ ước tính kích thước tổng thể, vậy sơ đồ trọng số này có phải là một tính năng cần thiết của tất cả các phương pháp không?

Có thể tiến hành đánh giá hệ thống mà không cần truy cập vào phương sai cho từng kích thước hiệu ứng và vẫn gọi kết quả là phân tích tổng hợp? Cỡ mẫu dường như có tiềm năng như một proxy cho độ chính xác khi phương sai không có sẵn. Chẳng hạn, người ta có thể sử dụng trọng số cỡ mẫu trong một nghiên cứu trong đó kích thước hiệu ứng được xác định là chênh lệch trung bình thô? Làm thế nào điều đó sẽ ảnh hưởng đến tính nhất quán và hiệu quả của kích thước hiệu ứng trung bình kết quả?


một câu hỏi hay Nếu bạn nêu ra một câu hỏi cụ thể rõ ràng, có thể giúp người đọc.
Subhash C. Davar

Cụ thể, tôi đang tìm cách kết hợp một thước đo giữa tính không đồng nhất giữa nghiên cứu (nghĩa là hiệu ứng ngẫu nhiên) trong sơ đồ trọng số của tôi khi dữ liệu phương sai không có sẵn cho tất cả các nghiên cứu. Một phiên bản sớm hơn, cụ thể hơn cho câu hỏi của tôi có thể được tìm thấy ở đây: stats.stackexchange.com/questions/155063/ mẹo
Jennifer

Câu trả lời:


11

Câu hỏi rất khó trả lời, bởi vì nó quá biểu thị cho một sự nhầm lẫn chung và tình trạng lộn xộn trong phần lớn các tài liệu phân tích tổng hợp (OP không được đổ lỗi ở đây - đó là tài liệu và mô tả về các phương pháp , mô hình và các giả định thường là một mớ hỗn độn).

Nhưng để làm cho một câu chuyện dài ngắn: Không, nếu bạn muốn kết hợp một loạt các ước tính (định lượng một số loại hiệu ứng, mức độ liên kết hoặc một số kết quả khác được coi là có liên quan) và có thể kết hợp những con số đó, sau đó bạn chỉ có thể lấy mức trung bình (không trọng số) của họ và điều đó sẽ hoàn toàn ổn. Không có gì sai với điều đó và theo các mô hình mà chúng tôi thường giả định khi chúng tôi tiến hành phân tích tổng hợp, điều này thậm chí còn mang đến cho bạn một ước tính không thiên vị (giả sử rằng chính các ước tính đó không thiên vị). Vì vậy, không, bạn không cần phương sai lấy mẫu để kết hợp các ước tính.

Vậy tại sao trọng số nghịch đảo gần như đồng nghĩa với việc thực sự phân tích tổng hợp? Điều này có liên quan đến ý tưởng chung rằng chúng tôi gắn sự tin cậy nhiều hơn vào các nghiên cứu lớn (với phương sai lấy mẫu nhỏ hơn) so với các nghiên cứu nhỏ hơn (với phương sai lấy mẫu lớn hơn). Trong thực tế, theo các giả định của các mô hình thông thường, sử dụng trọng số phương sai nghịch đảo dẫn đến công cụ ước lượng không thiên vị tối thiểu thống nhất(UMVUE) - tốt, một lần nữa, giả sử các ước tính không thiên vị và bỏ qua thực tế là các phương sai lấy mẫu thực sự thường không biết chính xác, nhưng được ước tính và trong các mô hình hiệu ứng ngẫu nhiên, chúng ta cũng phải ước tính thành phần phương sai cho sự không đồng nhất, nhưng sau đó chúng tôi chỉ coi nó là một hằng số đã biết, điều đó cũng không đúng ... nhưng vâng, chúng tôi sẽ nhận được UMVUE nếu chúng tôi sử dụng trọng số phương sai nghịch đảo nếu chúng tôi chỉ nheo mắt thật mạnh và bỏ qua một vài trong số này các vấn đề.

Vì vậy, đó là hiệu quả của công cụ ước tính đang bị đe dọa ở đây, chứ không phải là sự thiên vị. Nhưng ngay cả một trung bình không có trọng số thường sẽ không hiệu quả hơn nhiều so với sử dụng trung bình có trọng số nghịch đảo, đặc biệt là trong các mô hình hiệu ứng ngẫu nhiên và khi lượng không đồng nhất lớn (trong trường hợp đó, sơ đồ trọng số thông thường dẫn đến trọng số gần như đồng đều dù sao!). Nhưng ngay cả trong các mô hình hiệu ứng cố định hoặc có ít sự không đồng nhất, sự khác biệt thường không quá lớn.

Và như bạn đã đề cập, người ta cũng có thể dễ dàng xem xét các sơ đồ trọng số khác, chẳng hạn như trọng số theo cỡ mẫu hoặc một số chức năng của chúng, nhưng một lần nữa, đây chỉ là một nỗ lực để đạt được một số lượng gần với trọng số phương sai nghịch đảo (vì phương sai lấy mẫu là một mức độ lớn, được xác định bởi kích thước mẫu của một nghiên cứu).

Nhưng thực sự, người ta có thể và nên 'giải quyết' vấn đề trọng lượng và phương sai hoàn toàn. Chúng thực sự là hai mảnh riêng biệt mà người ta phải suy nghĩ. Nhưng đó không phải là cách mọi thứ thường được trình bày trong tài liệu.

Tuy nhiên, vấn đề ở đây là bạn thực sự cần phải suy nghĩ về cả hai. Có, bạn có thể lấy trung bình không trọng số làm ước tính kết hợp của mình và về bản chất, đó sẽ là phân tích tổng hợp, nhưng một khi bạn muốn bắt đầu thực hiện suy luận dựa trên ước tính kết hợp đó (ví dụ: tiến hành kiểm tra giả thuyết, xây dựng khoảng tin cậy ), bạn cần biết phương sai lấy mẫu (và số lượng không đồng nhất). Nghĩ về nó theo cách này: Nếu bạn kết hợp một loạt các nghiên cứu nhỏ (và / hoặc rất không đồng nhất), ước tính điểm của bạn sẽ kém chính xác hơn nhiều so với việc bạn kết hợp cùng một số lượng rất lớn (và / hoặc đồng nhất) nghiên cứu - bất kể bạn đánh giá ước tính của mình như thế nào khi tính giá trị kết hợp.

Trên thực tế, thậm chí có một số cách xung quanh việc không biết phương sai lấy mẫu (và lượng không đồng nhất) khi chúng ta bắt đầu thực hiện thống kê suy luận. Người ta có thể xem xét các phương pháp dựa trên việc lấy mẫu lại (ví dụ: bootstrapping, kiểm tra hoán vị) hoặc các phương pháp mang lại lỗi tiêu chuẩn nhất quán cho ước tính kết hợp ngay cả khi chúng ta đánh giá sai các phần của mô hình - nhưng các phương pháp này có thể được đánh giá cẩn thận như thế nào trên từng trường hợp cơ sở.


0

Nếu bạn biết một số lỗi tiêu chuẩn nhưng không phải tất cả, đây là một giải pháp:

(1) giả sử SE không xác định được rút ngẫu nhiên từ cùng một phân phối với SE đã biết hoặc để phân phối SE của các ước tính của các giấy tờ có SE không xác định là biến tự do. Nếu bạn muốn trở nên lạ mắt, bạn có thể sử dụng mô hình tính trung bình trên các tùy chọn này.

(2) ước tính thông qua khả năng tối đa

Nếu nghiên cứu của bạn với SE không xác định là 'ngoại lệ', mô hình sẽ giải thích sự bất thường trong sự kết hợp của những cách sau:

(a) nghiên cứu có khả năng có SE cao cho ước tính của nó (nghiên cứu có khả năng có công suất thấp)

(b) nghiên cứu có khả năng có thành phần hiệu ứng ngẫu nhiên lớn (nhà nghiên cứu đã chọn một tập dữ liệu hoặc phương pháp, vv mang lại kết quả không điển hình)

Trong thực tế, mô hình này sẽ làm giảm độ chính xác hiệu quả của ước tính với SE chưa biết khi nó trở nên bất thường hơn. Về mặt này, nó rất mạnh mẽ để bao gồm các 'ngoại lệ'. Đồng thời, nếu bạn thêm nhiều nghiên cứu với phương sai không xác định nhưng với kết quả là điển hình, SE hoặc ước tính cuối cùng của bạn sẽ giảm.

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.