Tác động của việc nhân đôi kích thước mẫu lên giá trị p là gì

Giả sử rằng chúng là mối quan hệ cơ bản giữa hai biến trong hồi quy OLS [kiểm tra giả thuyết null], thì tác động lên giá trị p của việc nhân đôi kích thước mẫu là gì? (giả sử rằng mẫu ban đầu là đại diện cho dân số, và mẫu tiếp theo cũng là đại diện).

Rõ ràng tôi nhận thức được rằng miễn là có mối quan hệ cơ bản, thì việc tăng kích thước mẫu sẽ làm giảm giá trị p, nhưng tôi quan tâm tìm hiểu thêm về bản chất của mối quan hệ giữa p và n.

Đối với thử nghiệm T, chúng tôi có các quy tắc như "Nhân đôi kích thước mẫu làm tăng thống kê thử nghiệm bằng cách $\sqrt{2}$ ". Điều này có thể khiến bạn nghĩ rằng có một mối quan hệ đơn giản giữa kích thước mẫu và giá trị p.

Trong thực tế, mối quan hệ giữa kích thước mẫu và giá trị p phụ thuộc vào mối quan hệ giữa kích thước mẫu và thống kê kiểm tra và mối quan hệ giữa thống kê kiểm tra và giá trị p. Những mối quan hệ sẽ khác nhau cho mỗi bài kiểm tra.

Đối với trường hợp đơn giản nhất, thử nghiệm Z một phía, chúng ta có thể thấy mối quan hệ này là gì. Giả sử một biến ngẫu nhiên$X$ có nghĩa là $\mu$ và phương sai $\sigma^2$. Uppose mà chúng tôi đang thử nghiệm nếu giá trị trung bình của$X$ khác biệt đáng kể so với $\nu$. Thống kê kiểm tra$Z$ Là $\frac{(\bar{x}-\nu)\sqrt{n}}{\sigma}$.

Giá trị p bằng một trừ đi CDF của $Z$ thống kê (điều này giả định rằng sự khác biệt giữa các phương tiện là tích cực, một đối số tương tự hoạt động nếu sự khác biệt là tiêu cực).

Đối với phân phối bình thường, CDF là $\Phi(t)=0.5+0.5\cdot erf(\frac{x-\mu_t}{\sigma_t \sqrt{2}})$. Trong đó erf (x) là hàm lỗi.

Theo giả thuyết null có nghĩa là bằng $Z$ thống kê có một ý nghĩa $0$ và phương sai $1$. Phân phối thực tế của$Z$ có ý nghĩa của $\frac{(\bar{x}-\nu)\sqrt{n}}{\sigma}$ và phương sai $1$.

Kích thước hiệu ứng của sự khác biệt giữa các phương tiện là $\frac{(\bar{x}-\nu)}{\sigma}$. Gọi kích thước hiệu ứng$b$, sau đó giá trị mong đợi của $Z$ Là $b\sqrt{n}$.

Dành cho $Z$ CDF là $\Phi(z)=0.5+0.5\cdot erf(\frac{z}{\sqrt{2}})$. Trong đó erf (x) là hàm lỗi.

Dĩ nhiên $Z$ thống kê là một biến ngẫu nhiên, ở đây chúng ta sẽ xem xét mối quan hệ giữa kích thước mẫu và giá trị p cho giá trị mong đợi của $Z$.

Theo sau đó là CDF của $Z$ thống kê là $\Phi(z)=0.5+0.5\cdot erf(\frac{b\sqrt{n}}{\sqrt{2}})$

Đây là mối quan hệ giữa giá trị p và cỡ mẫu

$p=0.5-0.5\cdot erf(\frac{b\sqrt{n}}{\sqrt{2}})$

Mối quan hệ thay đổi theo giá trị của $n$. Cho rất lớn$n$chúng ta có thể sử dụng một chuỗi mở rộng để xem hành vi giới hạn. Theo wolfram alpha đó là:

$\lim_{n \to \infty}p = e^{-0.5b^2n} \left(\frac{1}{eb\sqrt{n}}+O\left(\frac{1}{(b\sqrt{n})^2} \right) \right)$

Đó là một sự phân rã khá nhanh về 0. Có sự phụ thuộc lớn vào kích thước hiệu ứng, tất nhiên nếu sự khác biệt giữa các phương tiện lớn hơn thì giá trị p sẽ co lại nhanh hơn khi việc lấy mẫu của bạn được cải thiện.

Một lần nữa, hãy nhớ rằng điều này chỉ dành cho thử nghiệm Z và T, nó không áp dụng cho các thử nghiệm khác.

Trước tiên chúng ta điều tra ảnh hưởng đến giá trị t . Sau đó chúng ta có thể suy ra ngay hiệu ứng trên giá trị p.

Điều này có lẽ được minh họa tốt nhất bởi một ví dụ mô phỏng được lựa chọn tốt trong đó minh họa các tính năng nổi bật nhất. Vì chúng tôi đang nhìn$H_0$ là sai (và về cơ bản chúng tôi đang xem xét các thuộc tính liên quan đến sức mạnh) nên tập trung vào thử nghiệm một đầu (theo hướng "chính xác") vì nhìn vào đuôi sai sẽ không thấy nhiều hành động và sẽ không nói chúng tôi rất quan tâm.

Vì vậy, ở đây chúng ta có một tình huống (tại n = 100) trong đó hiệu ứng đủ lớn để thống kê đôi khi có ý nghĩa. Sau đó, chúng tôi thêm vào mẫu đầu tiên một bản vẽ thứ hai từ cùng một phân phối giá trị x liên tục (ở đây thống nhất nhưng không quan trọng đối với hiệu ứng quan sát được) có cùng kích thước với mẫu thứ nhất, dẫn đến tăng gấp đôi kích thước mẫu, nhưng hoàn toàn bao gồm cả mẫu đầu tiên.

Những gì chúng tôi quan sát không phải là giá trị p đi xuống, chỉ là nó có xu hướng đi xuống (nhiều điểm nằm trên đường chéo hơn bên dưới nó); chúng ta có thể thấy rằng sự thay đổi trong các giá trị t giảm, do đó, có ít hơn trong vùng 0. Nhiều giá trị p tăng lên. Khá nhiều mẫu không đáng kể đã trở nên quan trọng khi chúng tôi thêm nhiều dữ liệu, nhưng một số mẫu có ý nghĩa trở nên không đáng kể.

[Ở đây chúng tôi đang xem xét thống kê t cho hệ số độ dốc trong một hồi quy đơn giản, mặc dù về mặt định tính các vấn đề tương tự rộng hơn.]

Một biểu đồ của các giá trị p thay vì các giá trị t truyền tải về cơ bản cùng một thông tin. Thật vậy, nếu bạn đặt dấu tick ở các khoảng bên phải trên các trục ở trên, bạn có thể gắn nhãn chúng với giá trị p thay vào đó ... nhưng trên cùng (và bên phải) sẽ hiển thị giá trị p thấp và phía dưới (/ bên trái) sẽ là được dán nhãn với giá trị p lớn hơn. [Trên thực tế, việc vẽ các giá trị p chỉ đè bẹp mọi thứ vào góc và không rõ ràng những gì đang diễn ra.]

Nói chung, khi null tương ứng là sai, dự kiến ​​phân rã các giá trị p như trong hình bên dưới, trong đó tôi báo cáo giá trị p trung bình từ nghiên cứu mô phỏng nhỏ cho bội số mẫu có kích thước n=25từ bb*n=25cho đến bb*n=29*25một hệ số hồi quy tuyến tính đơn giản bằng đến 0,1 và độ lệch chuẩn của$\sigma_u=0.5$.

Vì các giá trị p được giới hạn từ bên dưới bằng 0, cuối cùng phân rã phải làm phẳng.

Khoảng tin cậy 90% (vùng màu xanh lam mờ) chỉ ra rằng, hơn nữa, độ biến thiên của các giá trị p cũng giảm theo kích thước mẫu.

Rõ ràng, khi một trong hai $\sigma_u$ nhỏ hơn hoặc $n$lớn hơn, các giá trị p sẽ gần bằng 0 nhanh hơn khi tăng bb, do đó diện mạo của cốt truyện sẽ phẳng hơn.

Mã số:

reps <- 5000
B <- seq(1,30,by=2)
n <- 25

sigma.u <- .5
pvalues <- matrix(NA,reps,length(B))
for (bb in 1:length(B)){
     for (i in 1:reps){
          x <- rnorm(B[bb]*n)
          y <- .1*x + rnorm(B[bb]*n,sd=sigma.u)
          pvalues[i,bb] <- summary(lm(y~x))$coefficients[2,4]     
     }
}
plot(B,colMeans(pvalues),type="l", lwd=2, col="purple", ylim=c(0,.9))
ConfidenceInterval <- apply(pvalues, 2, quantile, probs = c(.1,.9))
x.ax <- c(B,rev(B))
y.ax <- c(ConfidenceInterval[1,],rev(ConfidenceInterval[2,]))
polygon(x.ax,y.ax, col=alpha("blue",alpha = .2), border=NA)