Tại sao việc tìm kiếm các hiệu ứng nhỏ trong các nghiên cứu lớn chỉ ra sự thiên vị xuất bản?

Một số bài báo phương pháp luận (ví dụ Egger et al 1997a, 1997b) thảo luận về xu hướng xuất bản như được tiết lộ bởi các phân tích tổng hợp, sử dụng các sơ đồ phễu như dưới đây.

Bài báo năm 1997b tiếp tục nói rằng "nếu có sự thiên vị xuất bản, dự kiến, trong các nghiên cứu được công bố, những nghiên cứu lớn nhất sẽ báo cáo những tác động nhỏ nhất." Nhưng tại sao vậy? Dường như với tôi rằng tất cả những điều này sẽ chứng minh là những gì chúng ta đã biết: các hiệu ứng nhỏ chỉ có thể phát hiện được với kích thước mẫu lớn ; trong khi không nói gì về các nghiên cứu vẫn chưa được công bố.

Ngoài ra, công trình được trích dẫn tuyên bố rằng sự bất cân xứng được đánh giá trực quan trong một biểu đồ kênh "chỉ ra rằng đã không chọn lọc không công bố các thử nghiệm nhỏ hơn với lợi ích ít hơn." Nhưng, một lần nữa, tôi không hiểu làm thế nào bất kỳ tính năng nào của các nghiên cứu được công bố có thể cho chúng tôi biết bất cứ điều gì (cho phép chúng tôi suy luận) về các tác phẩm không được công bố!

Tài liệu tham khảo
Egger, M., Smith, GD, & Phillips, AN (1997). Phân tích tổng hợp: nguyên tắc và thủ tục . BMJ, 315 (7121), 1533-1537.

Egger, M., Smith, GD, Schneider, M., & Minder, C. (1997). Xu hướng trong phân tích tổng hợp được phát hiện bằng một thử nghiệm đồ họa đơn giản . BMJ , 315 (7109), 629-634.

Các câu trả lời ở đây là tốt, +1 cho tất cả. Tôi chỉ muốn cho thấy hiệu ứng này có thể trông như thế nào trong các điều khoản của kênh trong một trường hợp cực đoan. Dưới đây tôi mô phỏng một hiệu ứng nhỏ là và vẽ các mẫu trong khoảng từ 2 đến 2000 quan sát.$N(.01, .1)$

Các điểm xám trong cốt truyện sẽ không được công bố theo chế độ nghiêm ngặt . Đường màu xám là một hồi quy của kích thước hiệu ứng trên kích thước mẫu bao gồm các nghiên cứu "giá trị p xấu", trong khi đường màu đỏ loại trừ những nghiên cứu này. Các đường màu đen cho thấy hiệu quả thực sự.$p < .05$

Như bạn có thể thấy, theo xu hướng xuất bản, có xu hướng mạnh mẽ cho các nghiên cứu nhỏ đánh giá quá cao kích thước hiệu ứng và đối với những nghiên cứu lớn hơn để báo cáo kích thước hiệu ứng gần với sự thật.

set.seed(20-02-19)

n_studies <- 1000
sample_size <- sample(2:2000, n_studies, replace=T)

studies <- plyr::aaply(sample_size, 1, function(size) {
  dat <- rnorm(size, mean = .01, sd = .1)
  c(effect_size=mean(dat), p_value=t.test(dat)$p.value)
})

studies <- cbind(studies, sample_size=log(sample_size))

include <- studies[, "p_value"] < .05

plot(studies[, "sample_size"], studies[, "effect_size"], 
     xlab = "log(sample size)", ylab="effect size",
     col=ifelse(include, "black", "grey"), pch=20)
lines(lowess(x = studies[, "sample_size"], studies[, "effect_size"]), col="grey", lwd=2)
lines(lowess(x = studies[include, "sample_size"], studies[include, "effect_size"]), col="red", lwd=2)
abline(h=.01)

^{Được tạo vào ngày 2019-02-20 bởi gói reprex (v0.2.1)}

Đầu tiên, chúng ta cần suy nghĩ về "xu hướng xuất bản" là gì và nó sẽ ảnh hưởng đến những gì thực sự đưa nó vào văn học.

Một mô hình khá đơn giản cho xu hướng xuất bản là chúng tôi thu thập một số dữ liệu và nếu , chúng tôi sẽ xuất bản. Mặt khác, chúng tôi không. Vậy làm thế nào điều này ảnh hưởng đến những gì chúng ta thấy trong các tài liệu? Chà, đối với một, nó đảm bảo rằng (giả sử sử dụng thống kê Wald). Bây giờ, một điểm được đưa ra là nếu thực sự nhỏ, thì tương đối lớn và lớnlà cần thiết để xuất bản.$p < 0.05$$|\hat \theta |/ SE(\hat \theta) >1.96$$n$$SE(\hat \theta)$$|\hat \theta|$

Bây giờ giả sử rằng trong thực tế, tương đối nhỏ. Giả sử chúng tôi chạy 200 thử nghiệm, 100 với kích thước mẫu thực sự nhỏ và 100 với kích thước mẫu thực sự lớn. Lưu ý rằng trong số 100 thử nghiệm cỡ mẫu thực sự nhỏ, những thử nghiệm duy nhất sẽ được xuất bản theo mô hình thiên vị xuất bản đơn giản của chúng tôi là những thử nghiệm có giá trị lớn làchỉ do lỗi ngẫu nhiên . Tuy nhiên, trong 100 thử nghiệm của chúng tôi với kích thước mẫu lớn, các giá trị nhỏ hơn của sẽ được công bố. Vì vậy, nếu các thử nghiệm lớn hơn có hệ thống cho thấy hiệu quả nhỏ hơn các thử nghiệm nhỏ hơn, điều này cho thấy có lẽ$\theta$$|\hat \theta|$ q | θ |$\hat \theta$$|\theta|$ thực sự nhỏ hơn đáng kể so với những gì chúng ta thường thấy từ các thí nghiệm nhỏ hơn thực sự biến nó thành ấn phẩm.

Lưu ý kỹ thuật: đúng là có một cái lớnvà / hoặc nhỏ sẽ dẫn đến . Tuy nhiên, vì kích thước hiệu ứng thường được coi là liên quan đến độ lệch chuẩn của thuật ngữ lỗi, hai điều kiện này về cơ bản là tương đương nhau.$|\hat \theta|$ S E ( θ ) p < 0,05$SE(\hat \theta)$$p < 0.05$

Đọc tuyên bố này một cách khác:

Nếu không có sai lệch xuất bản, kích thước hiệu ứng nên độc lập với kích thước nghiên cứu.

Đó là, nếu bạn đang nghiên cứu một hiện tượng, kích thước hiệu ứng là một thuộc tính của hiện tượng đó, không phải là mẫu / nghiên cứu.

Ước tính kích thước hiệu ứng có thể (và sẽ) khác nhau giữa các nghiên cứu, nhưng nếu có kích thước hiệu ứng giảm có hệ thống với tăng kích thước nghiên cứu , điều đó cho thấy có sự sai lệch. Toàn bộ vấn đề là mối quan hệ này cho thấy rằng có những nghiên cứu nhỏ bổ sung cho thấy kích thước hiệu ứng thấp chưa được công bố, và nếu chúng được công bố và do đó có thể được đưa vào phân tích tổng hợp, ấn tượng chung sẽ là kích thước hiệu ứng nhỏ hơn hơn những gì được ước tính từ tập hợp con của các nghiên cứu được công bố.

Phương sai của ước tính kích thước hiệu ứng giữa các nghiên cứu sẽ phụ thuộc vào cỡ mẫu, nhưng bạn sẽ thấy số lượng ước tính dưới và trên bằng nhau ở cỡ mẫu thấp nếu không có sai lệch.