Là một phân tích sức mạnh tiên nghiệm về cơ bản là vô dụng?

Tôi đã tham dự một cuộc họp của Hiệp hội Tâm lý học Xã hội và Cá tính vào tuần trước khi tôi thấy một cuộc nói chuyện của Uri Simonsohn với tiền đề rằng việc sử dụng phân tích sức mạnh tiên nghiệm để xác định kích thước mẫu về cơ bản là vô dụng vì kết quả của nó rất nhạy cảm với các giả định.

Tất nhiên, yêu cầu này đi ngược lại với những gì tôi được dạy trong lớp phương pháp của mình và chống lại các khuyến nghị của nhiều nhà phương pháp học nổi tiếng (đáng chú ý nhất là Cohen, 1992 ), vì vậy Uri đã đưa ra một số bằng chứng về yêu cầu của mình. Tôi đã cố gắng tạo lại một số bằng chứng này dưới đây.

Để đơn giản, hãy tưởng tượng một tình huống trong đó bạn có hai nhóm quan sát và đoán rằng kích thước hiệu ứng (được đo bằng mức chênh lệch trung bình chuẩn) là . Một tính toán công suất tiêu chuẩn (được thực hiện trong việc sử dụng gói bên dưới) sẽ cho bạn biết bạn sẽ cần quan sát để có được 80% năng lượng với thiết kế này.$.5$Rpwr$128$

require(pwr)

size <- .5
# Note that the output from this function tells you the required observations per group
# rather than the total observations required
pwr.t.test(d = size, 
           sig.level = .05, 
           power = .80, 
           type = "two.sample", 
           alternative = "two.sided")

Tuy nhiên, thông thường, dự đoán của chúng tôi về kích thước dự đoán của hiệu ứng là (ít nhất là trong khoa học xã hội, lĩnh vực nghiên cứu của tôi) chỉ là như vậy - những phỏng đoán rất thô sơ. Điều gì xảy ra sau đó nếu dự đoán của chúng tôi về kích thước của hiệu ứng là một chút? Một phép tính công suất nhanh cho bạn biết rằng nếu kích thước của hiệu ứng là thay vì , bạn cần quan sát - gấp lần số bạn cần có đủ năng lượng cho kích thước hiệu ứng là . Tương tự, nếu kích thước của hiệu ứng là , bạn chỉ cần quan sát, 70% những gì bạn cần có đủ năng lượng để phát hiện kích thước hiệu ứng là.5 200 1.56 .5 .6 90 .50 90 $.4$$.5$$200$$1.56$$.5$$.6$$90$$.50$. Thực tế mà nói, phạm vi trong các quan sát ước tính là khá lớn - đến .$90$$200$

Một câu trả lời cho vấn đề này là, thay vì đoán chính xác kích cỡ của hiệu ứng có thể là gì, bạn thu thập bằng chứng về kích thước của hiệu ứng, thông qua tài liệu trong quá khứ hoặc qua thử nghiệm thí điểm. Tất nhiên, nếu bạn đang thực hiện thử nghiệm thí điểm, bạn sẽ muốn thử nghiệm thử nghiệm của mình đủ nhỏ để bạn không chỉ đơn giản chạy phiên bản nghiên cứu của mình chỉ để xác định kích thước mẫu cần thiết để thực hiện nghiên cứu (ví dụ: bạn muốn cỡ mẫu được sử dụng trong thử nghiệm thí điểm nhỏ hơn cỡ mẫu nghiên cứu của bạn).

Uri Simonsohn lập luận rằng thử nghiệm thí điểm cho mục đích xác định kích thước hiệu ứng được sử dụng trong phân tích sức mạnh của bạn là vô ích. Hãy xem xét các mô phỏng sau đây mà tôi chạy R. Mô phỏng này giả định rằng kích thước hiệu ứng dân số là . Sau đó, nó tiến hành "thử nghiệm thí điểm" có kích thước 40 và lập bảng đề xuất từ mỗi trong số 10000 thử nghiệm thí điểm.1000 $.5$$1000$$N$

set.seed(12415)

reps <- 1000
pop_size <- .5
pilot_n_per_group <- 20
ns <- numeric(length = reps)

for(i in 1:reps)
{
  x <- rep(c(-.5, .5), pilot_n_per_group)
  y <- pop_size * x + rnorm(pilot_n_per_group * 2, sd = 1)
  # Calculate the standardized mean difference
  size <- (mean(y[x == -.5]) - mean(y[x == .5])) / 
          sqrt((sd(y[x == -.5])^2 + sd(y[x ==.5])^2) / 2)

  n <- 2 * pwr.t.test(d = size,
                      sig.level = .05, 
                      power = .80,
                      type = "two.sample", 
                      alternative = "two.sided")$n

  ns[i] <- n
}

Dưới đây là một âm mưu mật độ dựa trên mô phỏng này. Tôi đã bỏ qua trong số các thử nghiệm thí điểm đề xuất một số quan sát trên 500 để làm cho hình ảnh dễ hiểu hơn. Ngay cả khi tập trung vào các kết quả cực ít của mô phỏng, có sự khác biệt lớn trong N s được đề xuất bởi 1000 thử nghiệm thí điểm.$204$$500$$Ns$$1000$

Tất nhiên, tôi chắc chắn rằng độ nhạy đối với vấn đề giả định chỉ trở nên tồi tệ hơn khi thiết kế của một người trở nên phức tạp hơn. Ví dụ, trong một thiết kế yêu cầu đặc điểm kỹ thuật của cấu trúc hiệu ứng ngẫu nhiên, bản chất của cấu trúc hiệu ứng ngẫu nhiên sẽ có ý nghĩa lớn đối với sức mạnh của thiết kế.

Vì vậy, tất cả các bạn nghĩ gì về lập luận này? Là một phân tích sức mạnh tiên nghiệm về cơ bản là vô dụng? Nếu có thì các nhà nghiên cứu nên lập kế hoạch cho quy mô nghiên cứu của họ như thế nào?

Vấn đề cơ bản ở đây là đúng và khá nổi tiếng trong thống kê. Tuy nhiên, giải thích / yêu cầu của ông là cực đoan. Có một số vấn đề sẽ được thảo luận:

$N$$\sqrt N$$N$$50\%$$80\%$$d$$d$$d = .5$$N = 128$$\approx 7.9\%$$\approx 5.5\%$$.1$$\approx 16.9\%$$.1$$\approx 12.6\%$

$d$

$80\%$

Thứ hai, liên quan đến tuyên bố rộng hơn rằng các phân tích sức mạnh (a-prori hay nói cách khác) dựa trên các giả định, không rõ điều gì để đưa ra lập luận đó. Tất nhiên họ làm. Mọi thứ khác cũng vậy. Không chạy phân tích sức mạnh, nhưng chỉ thu thập một lượng dữ liệu dựa trên số bạn đã chọn từ một chiếc mũ, sau đó phân tích dữ liệu của bạn, sẽ không cải thiện tình hình. Hơn nữa, các phân tích kết quả của bạn vẫn sẽ dựa trên các giả định, giống như tất cả các phân tích (sức mạnh hoặc cách khác) luôn luôn làm. Nếu thay vào đó bạn quyết định rằng bạn sẽ tiếp tục dữ liệu thu thập và tái phân tích chúng cho đến khi bạn có được một bức tranh bạn thích hoặc cảm thấy mệt mỏi của nó, đó sẽ là nhiều ít có giá trị (và sẽ giả định vẫn đòi hỏi mà bạn có thể nhìn thấy bằng loa, nhưng dù sao cũng tồn tại). Đơn giản thôi,không có cách nào xung quanh thực tế là các giả định đang được thực hiện trong nghiên cứu và phân tích dữ liệu .

Bạn có thể tìm thấy các tài nguyên quan tâm:

• KraTable, HC, Mintz, J., Noda, A., Tinklenberg, J., & Yesavage, JA (2006). Lưu ý về việc sử dụng các nghiên cứu thí điểm để hướng dẫn các tính toán sức mạnh cho các đề xuất nghiên cứu , Lưu trữ về Tâm thần học Đại cương , 63 , 5, trang 484-361.

• Uebersax, JA (2007). Phân tích sức mạnh vô điều kiện Bayes. http://www.john-uebersax.com/stat/bpower.htm