Tại sao RSS được phân phối chi vuông lần np?

Tôi muốn hiểu tại sao, theo mô hình OLS, RSS (tổng bình phương còn lại) được phân phối ( là số lượng tham số trong mô hình, số lượng quan sát).

χ^{2} \cdot (n - p)

$\chi^2\cdot (n-p)$

p

$p$

n

$n$

Tôi xin lỗi vì đã hỏi một câu hỏi cơ bản như vậy, nhưng dường như tôi không thể tìm thấy câu trả lời trực tuyến (hoặc trong sách giáo khoa của tôi, theo định hướng ứng dụng hơn).

regression distributions least-squares

— Tal Galili
nguồn

Lưu ý rằng các câu trả lời chứng minh khẳng định không hoàn toàn đúng: phân phối RSS là

(không phải

) lần phân phối

trong đó

là phương sai thực sự của các lỗi.

σ^{2}

$\sigma^2$

n - p

$n-p$

χ^{2} (n - p)

$\chi^2(n-p)$

σ^{2}

$\sigma^2$

— whuber

Câu trả lời:

Tôi xem xét các mô hình tuyến tính sau: . ${y} = X \beta + \epsilon$

Vectơ của phần dư được ước tính bởi

\hat{ϵ} = y - X \hat{β} = (I - X (X^{'} X)^{- 1} X^{'}) y = Q y = Q (X β + ϵ) = Q ϵ

$\hat{\epsilon} = y - X \hat{\beta} = (I - X (X'X)^{-1} X') y = Q y = Q (X \beta + \epsilon) = Q \epsilon$

nơi . $Q = I - X (X'X)^{-1} X'$

Quan sát rằng (dấu vết là bất biến theo hoán vị tuần hoàn) và . Do đó, giá trị riêng của là và (một số chi tiết bên dưới). Do đó, tồn tại một ma trận đơn vị sao cho ( ma trận có thể chéo bởi ma trận đơn vị khi và chỉ khi chúng bình thường. ) $\textrm{tr}(Q) = n - p$ $Q'=Q=Q^2$ $Q$ $0$ $1$ $V$

V^{'} Q V = Δ = diag (\underset{n - p times}{\underset{⏟}{1, \dots, 1}}, \underset{p times}{\underset{⏟}{0, \dots, 0}})

$V'QV = \Delta = \textrm{diag}(\underbrace{1, \ldots, 1}_{n-p \textrm{ times}}, \underbrace{0, \ldots, 0}_{p \textrm{ times}})$

$K = V' \hat{\epsilon}$

$\hat{\epsilon} \sim N(0, \sigma^2 Q)$ $K \sim N(0, \sigma^2 \Delta)$ $K_{n-p+1}=\ldots=K_n=0$

\frac{‖ K ‖^{2}}{σ^{2}} = \frac{‖ K^{⋆} ‖^{2}}{σ^{2}} \sim χ_{n - p}^{2}

$\frac{\|K\|^2}{\sigma^2} = \frac{\|K^{\star}\|^2}{\sigma^2} \sim \chi^2_{n-p}$

với . $K^{\star} = (K_1, \ldots, K_{n-p})'$

Hơn nữa, vì là một ma trận đơn nhất, chúng ta cũng có $V$

‖ \hat{ϵ} ‖^{2} = ‖ K ‖^{2} = ‖ K^{⋆} ‖^{2}

$\|\hat{\epsilon}\|^2 = \|K\|^2=\|K^{\star}\|^2$

Như vậy

\frac{RSS}{σ^{2}} \sim χ_{n - p}^{2}

$\frac{\textrm{RSS}}{\sigma^2} \sim \chi^2_{n-p}$

Cuối cùng, quan sát rằng kết quả này ngụ ý rằng

E (\frac{RSS}{n - p}) = σ^{2}

$E\left(\frac{\textrm{RSS}}{n-p}\right) = \sigma^2$

$Q^2 - Q =0$ $Q$ $z^2 - z$ $Q$ $0$ $1$ $\textrm{tr}(Q) = n-p$ $1$ $n-p$ $p$

— bát giác
nguồn

V

$V$

Q

$Q$

S C R

$\mathrm{SCR}$

@ Thẻ. Điểm tốt. SCR ('Somme des Carrés Résiduels' trong tiếng Pháp) nên đã được RSS.

— ocram

Cảm ơn bạn đã trả lời chi tiết Ocram! Một số bước sẽ yêu cầu tôi tìm kiếm nhiều hơn, nhưng tôi có một phác thảo để suy nghĩ về bây giờ - cảm ơn!

— Tal Galili

@Glen_b: Ồ, tôi đã chỉnh sửa vài ngày trước để thay đổi SCR thành SRR. Tôi không nhớ rằng SCR được nhắc đến trong bình luận của tôi. Xin lỗi vì sự nhầm lẫn.

— ocram

@Glen_b: Nó được cho là có nghĩa là RSS: -S Chỉnh sửa lại. Thx

— ocram

$Y=X\beta+\epsilon$ $\boxed{Y=\mu + \sigma G}$ $G$ $\mathbb{R}^n$ $\mu$ $W \subset \mathbb{R}^n$

$\hat\mu$ $\mu$ $P_WY$ $Y$ $W$ $\mu$ $P^\perp_WY$ $W^\perp$ $W$ $\mathbb{R^n}$ $W^\perp$ $\dim(W^\perp)=n-\dim(W)$

P_{W}^{⊥} Y = P_{W}^{⊥} (μ + σ G) = 0 + σ P_{W}^{⊥} G,

$P^\perp_WY = P^\perp_W(\mu + \sigma G) = 0 + \sigma P^\perp_WG,$

P_{W}^{⊥} G

$P^\perp_WG$

W^{⊥}

$W^\perp$

χ^{2}

$\chi^2$

\dim (W^{⊥})

$\dim(W^\perp)$

Trình diễn này chỉ sử dụng một định lý, thực ra là một định lý định lý:

$\mathbb{R}^n$ $U \subset \mathbb{R}^n$ $U$ $\iff$ $U$

(từ định lý định nghĩa này, định lý của Cochran rõ ràng đến mức không đáng để nêu nó)

— Stéphane Laurent
nguồn