Phần nào của các thử nghiệm lặp lại sẽ có kích thước hiệu ứng trong khoảng tin cậy 95% của thử nghiệm đầu tiên?

Chúng ta hãy nắm bắt một tình huống lý tưởng với lấy mẫu ngẫu nhiên, quần thể Gaussian, phương sai bằng nhau, không hack P, v.v.

Bước 1. Bạn chạy thử nghiệm cho biết so sánh hai phương tiện mẫu và tính khoảng tin cậy 95% cho sự khác biệt giữa hai phương tiện dân số.

Bước 2. Bạn chạy thêm nhiều thử nghiệm (hàng ngàn). Sự khác biệt giữa các phương tiện sẽ thay đổi từ thí nghiệm này sang thí nghiệm khác do lấy mẫu ngẫu nhiên.

Câu hỏi: Phần nào của sự khác biệt giữa các phương tiện từ bộ sưu tập thí nghiệm ở bước 2 sẽ nằm trong khoảng tin cậy của bước 1?

Điều đó không thể được trả lời. Tất cả phụ thuộc vào những gì đã xảy ra ở bước 1. Nếu thí nghiệm bước 1 đó rất không điển hình, câu trả lời cho câu hỏi có thể rất thấp.

Vì vậy, hãy tưởng tượng rằng cả hai bước được lặp lại nhiều lần (với bước 2 lặp lại nhiều lần nữa). Bây giờ, điều đáng lẽ là có thể, tôi nghĩ, sẽ đưa ra một kỳ vọng về phần trung bình của các thí nghiệm lặp lại, trung bình, có kích thước hiệu ứng trong khoảng tin cậy 95% của thí nghiệm đầu tiên.

Dường như câu trả lời cho những câu hỏi này cần được hiểu để đánh giá khả năng tái tạo của các nghiên cứu, một lĩnh vực rất nóng hiện nay.

Phân tích

Bởi vì đây là một câu hỏi khái niệm, vì đơn giản chúng ta hãy xem xét tình hình trong đó một khoảng tin cậy [ ˉ x ( 1 ) + Z α $1-\alpha$được xây dựng cho một bìnhμsử dụng một mẫu ngẫu nhiênx(1

$$\left[\bar x^{(1)} + Z_{\alpha/2} s^{(1)}/\sqrt{n}, \bar x^{(1)} + Z_{1-\alpha/2} s^{(1)}/\sqrt{n}\right]$$ $\mu$$x^{(1)}$ kích thước và một giây ngẫu nhiên mẫu x ( 2 ) được lấy kích thước m , tất cả từ bình thường cùng ( μ , σ 2 ) phân phối. (Nếu bạn thích bạn có thể thay thế Z s bằng giá trị từ Student t phân phối của n - 1 bậc tự do; các phân tích sau đây sẽ không thay đổi.)$n$$x^{(2)}$$m$$(\mu,\sigma^2)$$Z$$t$$n-1$

Cơ hội mà giá trị trung bình của mẫu thứ hai nằm trong CI được xác định bởi mẫu thứ nhất là

$$\Pr\left(\bar x^{(1)} + \frac{Z_{\alpha/2}}{\sqrt{n}} s^{(1)} \le \bar x^{(2)} \le \bar x^{(1)} + \frac{Z_{1-\alpha/2}}{\sqrt{n}} s^{(1)}\right) =\Pr\left(\frac{Z_{\alpha/2}}{\sqrt{n}} s^{(1)} \le \bar x^{(2)}-\bar x^{(1)} \le \frac{Z_{1-\alpha/2}}{\sqrt{n}} s^{(1)}\right).$$

Do trung bình mẫu thứ nhất không phụ thuộc vào độ lệch chuẩn mẫu thứ nhất s ( 1 ) (điều này đòi hỏi tính quy tắc) và mẫu thứ hai độc lập với mẫu thứ nhất, sự khác biệt trong mẫu có nghĩa là U = ˉ x ( 2 ) - ˉ x ( 1 $\bar x^{(1)}$$s^{(1)}$$U = \bar x^{(2)} - \bar x^{(1)}$ độc lập với . Hơn nữa, đối với khoảng đối xứng này Z α / 2 = - Z 1 - α /$s^{(1)}$$Z_{\alpha/2}=-Z_{1-\alpha/2}$. Do đó, viết cho biến ngẫu nhiên s ( 1 ) và bình phương cả hai bất đẳng thức, xác suất trong câu hỏi là giống như$S$$s^{(1)}$

$$\Pr\left(U^2 \le \left(\frac{Z_{1-\alpha/2}}{\sqrt{n}}\right)^2 S^2\right)= \Pr\left(\frac{U^2}{S^2} \le \left(\frac{Z_{1-\alpha/2}}{\sqrt{n}}\right)^2\right).$$

Định luật kỳ vọng ngụ ý có giá trị trung bình bằng 0 và phương sai của$U$$0$

$$\operatorname{Var}(U) = \operatorname{Var}\left(\bar x^{(2)} - \bar x^{(1)}\right) = \sigma^2\left(\frac{1}{m} + \frac{1}{n}\right).$$

Vì là tổ hợp tuyến tính của các biến Bình thường, nên nó cũng có phân phối Bình thường. Do đó U 2 là σ 2 ( $U$$U^2$lần một biếnχ2(1). Chúng ta đã biết rằngS2làσ2/nlần một biếnχ2(n-1). Do đó,U2/S2là1/n+1/mlần một biến với mộtF(1,n-1)phân phối. $\sigma^2\left(\frac{1}{n} + \frac{1}{m}\right)$$\chi^2(1)$$S^2$$\sigma^2/n$$\chi^2(n-1)$$U^2/S^2$$1/n + 1/m$$F(1,n-1)$Xác suất bắt buộc được đưa ra bởi phân phối F là

$$F_{1,n-1}\left(\frac{Z_{1-\alpha/2}^2}{1 + n/m}\right).\tag{1}$$

---

Thảo luận

Một trường hợp thú vị là khi mẫu thứ hai có cùng kích thước với mẫu thứ nhất, sao cho và chỉ n và α xác định xác suất. Dưới đây là các giá trị của ( 1 ) được vẽ trên $n/m=1$$n$$\alpha$$(1)$$\alpha$ cho .$n=2,5,20,50$

Các đồ thị tăng đến một giá trị giới hạn tại mỗi khi n tăng. Kích thước thử nghiệm truyền thống α = 0,05 được đánh dấu bằng một đường màu xám dọc. Đối với các giá trị lớn của$\alpha$$n$$\alpha=0.05$ , cơ hội giới hạn cho α = 0,05 là khoảng 85 % .$n=m$$\alpha=0.05$$85\%$

Bằng cách hiểu giới hạn này, chúng tôi sẽ xem qua các chi tiết về kích thước mẫu nhỏ và hiểu rõ hơn mấu chốt của vấn đề. Khi phát triển lớn, phân phối F đạt tới χ $n=m$$F$ . Xét về mặt phân phối bình thường tiêu chuẩn Φ , xác suất ( 1 ) sau đó xấp xỉ$\chi^2(1)$$\Phi$$(1)$

$$\Phi\left(\frac{Z_{1-\alpha/2}}{\sqrt{2}}\right) - \Phi\left(\frac{Z_{\alpha/2}}{\sqrt{2}}\right) = 1 - 2\Phi\left(\frac{Z_{\alpha/2}}{\sqrt{2}}\right) .$$

Ví dụ, với , Z α / 2 / $\alpha=0.05$vàΦ(-1.386)≈0,083. Do đó, giá trị giới hạn đạt được của các đường cong tạiα=0,05khintăng sẽ là1-2(0,083)=1-0,166=0,834. Bạn có thể thấy nó đã gần như đạt được chon=50(trong đó có cơ hội là0,8383....)$Z_{\alpha/2}/\sqrt{2} \approx -1.96/1.41 \approx -1.386$$\Phi(-1.386) \approx 0.083$$\alpha=0.05$$n$$1 - 2(0.083) = 1 - 0.166=0.834$$n=50$$0.8383\ldots$

Đối với nhỏ , mối quan hệ giữa α và xác suất bổ sung - rủi ro mà CI không bao gồm trung bình thứ hai - gần như hoàn toàn là một định luật lũy thừa. $\alpha$$\alpha$ Một cách khác để diễn đạt điều này là xác suất bổ sung log gần như là một hàm tuyến tính của . Mối quan hệ hạn chế là khoảng$\log\alpha$

$$\log\left(2\Phi\left(\frac{Z_{\alpha/2}}{\sqrt{2}}\right)\right) \approx -1.79712 + 0.557203\log(20 \alpha) + 0.00657704 (\log(20 \alpha))^2 + \cdots$$

Nói cách khác, với và α lớn ở bất kỳ đâu gần giá trị truyền thống 0,05 , ( 1 ) sẽ gần với$n=m$$\alpha$$0.05$$(1)$

$$1 - 0.166 (20\alpha)^{0.557}.$$

(Điều này nhắc nhở tôi rất nhiều về phân tích các khoảng tin cậy chồng chéo mà tôi đã đăng tại /stats//a/18259/919 . Thật vậy, sức mạnh ma thuật ở đó, , gần như là sự đối nghịch của sức mạnh ma thuật đây, $1.91$$0.557$ . Tại thời điểm này, bạn sẽ có thể diễn giải lại phân tích đó về khả năng tái tạo của các thí nghiệm.)

---

Kết quả thực nghiệm

Những kết quả này được xác nhận với một mô phỏng đơn giản. Đoạn Rmã sau trả về tần suất bao phủ, cơ hội được tính bằng và điểm Z để đánh giá mức độ khác nhau của chúng. Z-score thường ít hơn 2 về kích thước, không phân biệt n , m , μ , σ , α (hoặc thậm chí cho dù một Z hoặc t CI được tính), cho thấy sự đúng đắn của công thức ( 1 ) .$(1)$$2$$n, m, \mu, \sigma, \alpha$$Z$$t$$(1)$

n <- 3      # First sample size
m <- 2      # Second sample size
sigma <- 2 
mu <- -4
alpha <- 0.05
n.sim <- 1e4
#
# Compute the multiplier.
#
Z <- qnorm(alpha/2)
#Z <- qt(alpha/2, df=n-1) # Use this for a Student t C.I. instead.
#
# Draw the first sample and compute the CI as [l.1, u.1].
#
x.1 <- matrix(rnorm(n*n.sim, mu, sigma), nrow=n)
x.1.bar <- colMeans(x.1)
s.1 <- apply(x.1, 2, sd)
l.1 <- x.1.bar + Z * s.1 / sqrt(n)
u.1 <- x.1.bar - Z * s.1 / sqrt(n)
#
# Draw the second sample and compute the mean as x.2.
#
x.2 <- colMeans(matrix(rnorm(m*n.sim, mu, sigma), nrow=m))
#
# Compare the second sample means to the CIs.
#
covers <- l.1 <= x.2 & x.2 <= u.1
#
# Compute the theoretical chance and compare it to the simulated frequency.
#
f <- pf(Z^2 / ((n * (1/n + 1/m))), 1, n-1)
m.covers <- mean(covers)
(c(Simulated=m.covers, Theoretical=f, Z=(m.covers - f)/sd(covers) * sqrt(length(covers))))

[Đã chỉnh sửa để sửa lỗi WHuber đã chỉ ra.]

I altered @Whuber's R code to use the t distribution, and plot coverage as a function of sample size. The results are below. At high sample size, the results match WHuber's of course.

And here is the adapted R code, run twice with alpha set to either 0.01 or 0.05.

sigma <- 2 
mu <- -4
alpha <- 0.01
n.sim <- 1e5
#
# Compute the multiplier.

for (n in c(3,5,7,10,15,20,30,50,100,250,500,1000))
{
   T <- qt(alpha/2, df=n-1)     
# Draw the first sample and compute the CI as [l.1, u.1].
#
x.1 <- matrix(rnorm(n*n.sim, mu, sigma), nrow=n)
x.1.bar <- colMeans(x.1)
s.1 <- apply(x.1, 2, sd)
l.1 <- x.1.bar + T * s.1 / sqrt(n)
u.1 <- x.1.bar - T * s.1 / sqrt(n)
#
# Draw the second sample and compute the mean as x.2.
#
x.2 <- colMeans(matrix(rnorm(n*n.sim, mu, sigma), nrow=n))
#
# Compare the second sample means to the CIs.
#
covers <- l.1 <= x.2 & x.2 <= u.1
#
Coverage=mean(covers)

print (Coverage)

}

And here is the GraphPad Prism file that made the graph.