Bằng chứng là thống kê F tuân theo phân phối F

Trước câu hỏi này: Chứng minh rằng các hệ số trong mô hình OLS tuân theo phân phối t với (nk) bậc tự do

Tôi rất muốn hiểu tại sao

$$F = \frac{(\text{TSS}-\text{RSS})/(p-1)}{\text{RSS}/(n-p)},$$

Trong đó là số lượng tham số mô hình và số lượng quan sát và tổng phương sai, phương sai dư, tuân theo phân phối của .$p$$n$$TSS$$RSS$$F_{p-1,n-p}$

Tôi phải thừa nhận tôi thậm chí không cố gắng chứng minh điều đó vì tôi không biết bắt đầu từ đâu.

Hãy để chúng tôi hiển thị kết quả cho trường hợp chung trong đó công thức của bạn cho thống kê kiểm tra là trường hợp đặc biệt. Nói chung, chúng tôi cần xác minh rằng số liệu thống kê có thể, theo đặc tính của phân phối$F$ , được viết dưới dạng tỷ lệ độc lập rvs chia cho mức độ tự do của chúng.$\chi^2$

Đặt với và biết, nonrandom và có thứ hạng cột đầy đủ . Điều này thể hiện hạn chế tuyến tính đối với (không giống như trong ký hiệu OP) hồi quy bao gồm cả số hạng không đổi. Vì vậy, trong ví dụ của @ user1627466, tương ứng với các hạn chế về việc đặt tất cả các hệ số độ dốc về 0.$H_{0}:R^\prime\beta=r$$R$$r$$R:k\times q$$q$$q$$k$$p-1$$q=k-1$

Theo quan điểm của , chúng tôi có sao cho (với là "căn bậc hai ma trận" của , thông qua, ví dụ: a Phân rã cholesky) là $Var\bigl(\hat{\beta}_{\text{ols}}\bigr)=\sigma^2(X'X)^{-1}$

$$\begin{eqnarray*} R^\prime(\hat{\beta}_{\text{ols}}-\beta)\sim N\left(0,\sigma^{2}R^\prime(X^\prime X)^{-1} R\right), \end{eqnarray*}$$ $B^{-1/2}=\{R^\prime(X^\prime X)^{-1} R\}^{-1/2}$$B^{-1}=\{R^\prime(X^\prime X)^{-1} R\}^{-1}$ $$\begin{eqnarray*} n:=\frac{B^{-1/2}}{\sigma}R^\prime(\hat{\beta}_{\text{ols}}-\beta)\sim N(0,I_{q}), \end{eqnarray*}$$ $$\begin{eqnarray*} Var(n)&=&\frac{B^{-1/2}}{\sigma}R^\prime Var\bigl(\hat{\beta}_{\text{ols}}\bigr)R\frac{B^{-1/2}}{\sigma}\\ &=&\frac{B^{-1/2}}{\sigma}\sigma^2B\frac{B^{-1/2}}{\sigma}=I \end{eqnarray*}$$ trong đó dòng thứ hai sử dụng phương sai của OLSE.

Điều này, như thể hiện trong câu trả lời mà bạn liên kết đến (xem thêm ở đây ), độc lập với trong đó là ước tính phương sai lỗi không thiên vị thông thường, với là 'dư ma trận sản xuất' từ suy thoái trên .

$$d:=(n-k)\frac{\hat{\sigma}^{2}}{\sigma^{2}}\sim\chi^{2}_{n-k},$$ σ 2=y'MXy/(n-k)MX=I-X(X'X)-1X'X$\hat{\sigma}^{2}=y'M_Xy/(n-k)$$M_{X}=I-X(X'X)^{-1}X'$$X$

Vì vậy, vì là một hình thức bậc hai theo quy tắc, Đặc biệt, trong , điều này làm giảm số liệu thống kê $n'n$

$$\begin{eqnarray*} \frac{\overbrace{n^\prime n}^{\sim\chi^{2}_{q}}/q}{d/(n-k)}=\frac{(\hat{\beta}_{\text{ols}}-\beta)^\prime R\left\{R^\prime(X^\prime X)^{-1}R\right\}^{-1}R^\prime(\hat{\beta}_{\text{ols}}-\beta)/q}{\hat{\sigma}^{2}}\sim F_{q,n-k}. \end{eqnarray*}$$ $H_{0}:R^\prime\beta=r$ $$\begin{eqnarray} F=\frac{(R^\prime\hat{\beta}_{\text{ols}}-r)^\prime\left\{R^\prime(X^\prime X)^{-1}R\right\}^{-1}(R^\prime\hat{\beta}_{\text{ols}}-r)/q}{\hat{\sigma}^{2}}\sim F_{q,n-k}. \end{eqnarray}$$

Mang tính minh họa, hãy xem xét các trường hợp đặc biệt , , , và . Sau đó, khoảng cách Euclide bình phương của OLS ước tính từ nguồn gốc được chuẩn hóa theo số lượng phần tử - làm nổi bật rằng, vì là các quy tắc chuẩn bình phương và do đó , có thể thấy phân phối dưới dạng phân phối "trung bình .$R^\prime=I$$r=0$$q=2$σ 2 = 1 X ' X = I F = β ' ols β ols / 2 = β 2 ols , 1 + β 2 ols , 2$\hat{\sigma}^{2}=1$$X^\prime X=I$

$$\begin{eqnarray} F=\hat{\beta}_{\text{ols}}^\prime\hat{\beta}_{\text{ols}}/2=\frac{\hat{\beta}_{\text{ols},1}^2+\hat{\beta}_{\text{ols},2}^2}{2}, \end{eqnarray}$$ β2ols,2χ21Fχ2$\hat{\beta}_{\text{ols},2}^2$$\chi^2_1$$F$$\chi^2$

Trong trường hợp bạn thích một mô phỏng nhỏ (tất nhiên không phải là bằng chứng!), Trong đó null được kiểm tra rằng không có biến hồi quy trọng - điều mà chúng thực sự không có, do đó chúng tôi mô phỏng phân phối null.$k$

Chúng tôi thấy thỏa thuận rất tốt giữa mật độ lý thuyết và biểu đồ thống kê kiểm tra Monte Carlo.

library(lmtest)
n <- 100
reps <- 20000
sloperegs <- 5 # number of slope regressors, q or k-1 (minus the constant) in the above notation
critical.value <- qf(p = .95, df1 = sloperegs, df2 = n-sloperegs-1) 
# for the null that none of the slope regrssors matter

Fstat <- rep(NA,reps)
for (i in 1:reps){
  y <- rnorm(n)
  X <- matrix(rnorm(n*sloperegs), ncol=sloperegs)
  reg <- lm(y~X)
  Fstat[i] <- waldtest(reg, test="F")$F[2] 
}

mean(Fstat>critical.value) # very close to 0.05

hist(Fstat, breaks = 60, col="lightblue", freq = F, xlim=c(0,4))
x <- seq(0,6,by=.1)
lines(x, df(x, df1 = sloperegs, df2 = n-sloperegs-1), lwd=2, col="purple")

Để thấy rằng các phiên bản của thống kê kiểm tra trong câu hỏi và câu trả lời thực sự tương đương nhau, lưu ý rằng null tương ứng với các hạn chế và .$R'=[0\;\;I]$$r=0$

Đặt được phân vùng theo các hệ số được giới hạn bằng 0 dưới giá trị null (trong trường hợp của bạn, tất cả trừ hằng số, nhưng đạo hàm phải tuân theo là chung). Ngoài ra, hãy để là ước tính OLS được phân vùng phù hợp.$X=[X_1\;\;X_2]$β ols = ( β ' ols , 1 , β ' ols , 2 ) '$\hat{\beta}_{\text{ols}}=(\hat{\beta}_{\text{ols},1}^\prime,\hat{\beta}_{\text{ols},2}')'$

Sau đó, và khối dưới bên phải của Bây giờ, hãy sử dụng kết quả cho các nghịch đảo được phân vùng để có được trong đó .

$$R'\hat{\beta}_{\text{ols}}=\hat{\beta}_{\text{ols},2}$$ $$R^\prime(X^\prime X)^{-1}R\equiv\tilde D,$$ $$\begin{align*} (X^TX)^{-1}&=\left( \begin{array} {c,c} X_1'X_1&X_1'X_2 \\ X_2'X_1&X_2'X_2\end{array} \right)^{-1}\\&\equiv\left( \begin{array} {c,c} \tilde A&\tilde B \\ \tilde C&\tilde D\end{array} \right) \end{align*}$$ ~ D =(X ' 2 X2-X ' 2 X1(X ' 1 X1)-1X ' 1 X2)-1=(X ' 2 M X 1 X2)-1M X 1 =I $$\tilde D=(X_2'X_2-X_2'X_1(X_1'X_1)^{-1}X_1'X_2)^{-1}=(X_2'M_{X_1}X_2)^{-1}$$ $M_{X_1}=I-X_1(X_1'X_1)^{-1}X_1'$

Do đó, tử số của thống kê trở thành (không chia cho ) Tiếp theo, hãy nhớ lại rằng theo định lý Frisch-Waugh-Lovell, chúng ta có thể viết sao cho $F$$q$

$$F_{num}=\hat{\beta}_{\text{ols},2}'(X_2'M_{X_1}X_2)\hat{\beta}_{\text{ols},2}$$ $$\hat{\beta}_{\text{ols},2}=(X_2'M_{X_1}X_2)^{-1}X_2'M_{X_1}y$$ $$\begin{align*} F_{num}&=y'M_{X_1}X_2(X_2'M_{X_1}X_2)^{-1}(X_2'M_{X_1}X_2)(X_2'M_{X_1}X_2)^{-1}X_2'M_{X_1}y\\ &=y'M_{X_1}X_2(X_2'M_{X_1}X_2)^{-1}X_2'M_{X_1}y \end{align*}$$

Vẫn còn cho thấy tử số này giống hệt với , sự khác biệt về tổng số dư không giới hạn và giới hạn của bình phương.$\text{USSR}-\text{RSSR}$

Ở đây, là tổng bình phương còn lại từ hồi quy trên , nghĩa là, áp dụng . Trong trường hợp đặc biệt của bạn, đây chỉ là , phần dư của hồi quy trên hằng số.

$$\text{RSSR}=y'M_{X_1}y$$ $y$$X_1$$H_0$$TSS=\sum_i(y_i-\bar y)^2$

Một lần nữa sử dụng FWL (cũng cho thấy phần dư của hai cách tiếp cận giống hệt nhau), chúng ta có thể viết (SSR trong ký hiệu của bạn) dưới dạng SSR của hồi quy $\text{USSR}$

$$M_{X_1}y\quad\text{on}\quad M_{X_1}X_2$$

Đó là,

$$\begin{eqnarray*} \text{USSR}&=&y'M_{X_1}'M_{M_{X_1}X_2}M_{X_1}y\\ &=&y'M_{X_1}'(I-P_{M_{X_1}X_2})M_{X_1}y\\ &=&y'M_{X_1}y-y'M_{X_1}M_{X_1}X_2((M_{X_1}X_2)'M_{X_1}X_2)^{-1}(M_{X_1}X_2)'M_{X_1}y\\ &=&y'M_{X_1}y-y'M_{X_1}X_2(X_2'M_{X_1}X_2)^{-1}X_2'M_{X_1}y \end{eqnarray*}$$

Như vậy

$$\begin{eqnarray*} \text{RSSR}-\text{USSR}&=&y'M_{X_1}y-(y'M_{X_1}y-y'M_{X_1}X_2(X_2'M_{X_1}X_2)^{-1}X_2'M_{X_1}y)\\ &=&y'M_{X_1}X_2(X_2'M_{X_1}X_2)^{-1}X_2'M_{X_1}y \end{eqnarray*}$$

@ChristophHanck đã cung cấp một câu trả lời rất toàn diện, ở đây tôi sẽ thêm một bản phác thảo bằng chứng về trường hợp đặc biệt mà OP đã đề cập. Hy vọng nó cũng dễ dàng hơn để làm theo cho người mới bắt đầu.

Một biến ngẫu nhiên nếu trong đó và độc lập. Do đó, để chỉ ra rằng -statistic có phân phối, chúng tôi cũng có thể chỉ ra rằng và đối với một số hằng số và chúng độc lập.$Y\sim F_{d_1,d_2}$

$$Y=\frac{X_1/d_1}{X_2/d_2},$$ $X_1\sim\chi^2_{d_1}$$X_2\sim\chi^2_{d_2}$$F$$F$$c\text{ESS}\sim\chi^2_{p-1}$$c\text{RSS}\sim\chi^2_{n-p}$$c$

Trong mô hình OLS, chúng ta viết trong đó là ma trận và lý tưởng là . Để thuận tiện, chúng tôi giới thiệu ma trận mũ (lưu ý ) và nhà sản xuất còn lại . Các tính chất quan trọng của và là cả hai đều đối xứng và không đối xứng. Ngoài ra, chúng tôi có và , những thứ này sẽ có ích sau này.X n ×

$$y=X\beta+\varepsilon,$$ $X$$n\times p$$\varepsilon\sim N_n(\mathbf{0}, \sigma^2I)$$H=X(X^TX)^{-1}X^{T}$$\hat{y}=Hy$$M=I-H$$H$$M$$\operatorname{tr}(H)=p$$HX=X$

Chúng ta hãy biểu thị ma trận của tất cả các ma trận là , tổng bình phương sau đó có thể được biểu thị bằng các hình thức bậc hai:Lưu ý rằng . Người ta có thể xác minh rằng là idempotent và . Nó sau từ này sau đó cũng là idempotent và .$J$M+(H

$$\text{TSS}=y^T\left(I-\frac{1}{n}J\right)y,\quad\text{RSS}=y^TMy,\quad\text{ESS}=y^T\left(H-\frac{1}{n}J\right)y.$$ $M+(H-J/n)+J/n=I$$J/n$$\operatorname{rank}(M)+\operatorname{rank}(H-J/n)+\operatorname{rank}(J/n)=n$$H-J/n$$M(H-J/n)=0$

Bây giờ chúng ta có thể đặt ra để chỉ ra rằng -statistic có phân phối (tìm kiếm định lý của Cochran để biết thêm). Ở đây chúng ta cần hai sự thật:$F$$F$

1. Đặt . Giả sử đối xứng với thứ hạng và là idempotent, thì , tức là không trung tâm với df và không trung tâm . Đây là một trường hợp đặc biệt về kết quả của Baldessari , một bằng chứng cũng có thể được tìm thấy ở đây .$x\sim N_n(\mu,\Sigma)$$A$$r$$A\Sigma$$x^TAx\sim\chi^2_r(\mu^TA\mu/2)$$\chi^2$$r$$\mu^TA\mu/2$
2. Đặt . Nếu , thì và là độc lập. Điều này được gọi là định lý của Craig .$x\sim N_n(\mu,\Sigma)$$A\Sigma B=0$$x^TAx$$x^TBx$

Vì , chúng tôi cóTuy nhiên, theo giả thuyết null , vì vậy thực sự . Mặt khác, lưu ý rằng từ . Do đó . Vì , và cũng độc lập. Nó ngay lập tức sau đó$y\sim N_n(X\beta,\sigma^2I)$β=0ESS/σ2~χ2 p - 1 y

$$\frac{\text{ESS}}{\sigma^2}=\left(\frac{y}{\sigma}\right)^T\left(H-\frac{1}{n}J\right)\frac{y}{\sigma}\sim\chi^2_{p-1}\left((X\beta)^T\left(H-\frac{J}{n}\right)X\beta\right).$$ $\beta=\mathbf{0}$$\text{ESS}/\sigma^2\sim\chi^2_{p-1}$$y^TMy=\varepsilon^TM\varepsilon$$HX=X$$\text{RSS}/\sigma^2\sim\chi^2_{n-p}$$M(H-J/n)=0$$\text{ESS}/\sigma^2$$\text{RSS}/\sigma^2$ $$F = \frac{(\text{TSS}-\text{RSS})/(p-1)}{\text{RSS}/(n-p)}=\frac{\dfrac{\text{ESS}}{\sigma^2}/(p-1)}{\dfrac{\text{RSS}}{\sigma^2}/(n-p)}\sim F_{p-1,n-p}.$$