Phân phối tổng bình phương sai số cho hồi quy tuyến tính?

Tôi biết rằng phân phối phương sai mẫu Đó là từ thực tế rằng có thể được biểu thị dưới dạng ma trận, (trong đó A: đối xứng) và nó có thể được biểu thị lại bằng: (trong đó Q: trực giao, ma trận đường chéo).

\sum \frac{(X_{i} - \bar{X})^{2}}{σ^{2}} \sim χ_{(n - 1)}^{2}

$\sum\frac{(X_i-\bar{X})^2}{\sigma^2}\sim \chi^2_{(n-1)}$

\sum \frac{(X_{i} - \bar{X})^{2}}{n - 1} \sim \frac{σ^{2}}{n - 1} χ_{(n - 1)}^{2}

$\sum\frac{(X_i-\bar{X})^2}{n-1}\sim \frac{\sigma^2}{n-1}\chi^2_{(n-1)}$

(X - \bar{X})^{2}

$(X-\bar{X})^2$

x A x^{'}

$xAx'$

x^{'} Q D Q^{'} x

$x'QDQ'x$

Thế còn , đưa ra giả định ? $\sum(Y_i-\hat{\beta}_0-\hat{\beta}_1X_i)^2$ $(Y - \beta_0 - \beta_1X)\sim \mathcal{N}(0, \sigma^2)$

Tôi hình

\sum \frac{(Y_{i} - {\hat{β}}_{0} - {\hat{β}}_{1} X_{i})^{2}}{σ^{2}} \sim χ_{(n - 2)}^{2} .

$\sum\frac{(Y_i-\hat{\beta}_0-\hat{\beta}_1X_i)^2}{\sigma^2}\sim \chi^2_{(n-2)}.$

Nhưng tôi không biết làm thế nào để chứng minh nó hoặc hiển thị nó.

Nó có được phân phối chính xác như không? $\chi^2_{(n-2)}$

— KH Kim
nguồn

Đây có phải là bài tập về nhà không? Nếu vậy, xin vui lòng sử dụng thẻ Bài tập về nhà.

— MånsT

Không, không phải vậy. Tôi nghĩ rằng đó là bcoz thật, xét cho cùng, tổng bình phương là một hình vuông kết hợp tuyến tính của hằng số X của Y. Nhưng nó là? Bằng chứng đơn giản như thế này sẽ được đánh giá cao! math.stackexchange.com/questions/47009/ Mạnh

— KH Kim

Các mô tả bạn đưa ra trong cả câu hỏi và nhận xét của bạn có một chút sai lầm. Bạn đã viết ra ma trận của bạn phải là gì đối với phương sai mẫu chưa? Điều đó có giúp bạn thấy làm thế nào để khái quát?

A

$A$

— Đức Hồng Y

Đã sửa cho D. Tôi nghĩ điểm quan trọng là phần tử đường chéo của D phải giống như (1,1,1, ..., 1,0,0). Có cách nào để chứng minh điều đó? hoặc Có cách nào để hiển thị rằng trong đó sse / ,

χ^{2} (n) = χ^{2} (n - 2) + χ^{2} (1) + χ^{2} (1)

$\chi^2(n)=\chi^2(n-2)+\chi^2(1)+\chi^2(1)$

σ^{2} \sim χ^{2} (n - 2)

$\sigma^2 \sim \chi^2(n-2)$

\sum e_{i}^{2} / σ^{2} \sim χ^{2} (n)

$\sum{e_i^2}/\sigma^2 \sim \chi^2(n)$

— KH Kim

Chúng ta có thể chứng minh điều này cho trường hợp tổng quát hơn của các biến bằng cách sử dụng "ma trận mũ" và một số thuộc tính hữu ích của nó. Những kết quả này thường khó khăn hơn nhiều để nêu trong các thuật ngữ phi ma trận do sử dụng phân rã phổ. $p$

Bây giờ trong phiên bản ma trận có bình phương tối thiểu, ma trận mũ là trong đó có hàng và cột (cột của cột cho ). Giả sử thứ hạng cột đầy đủ cho thuận tiện - khác bạn có thể thay thế bằng thứ hạng cột của sau đây. Chúng ta có thể viết các giá trị được trang bị là hoặc trong ký hiệu ma trận . Sử dụng điều này, chúng ta có thể viết tổng bình phương là: $H=X(X^TX)^{-1}X^T$ $X$ $n$ $p+1$ $\beta_0$ $p+1$ $X$ $\hat{Y}_i=\sum_{j=1}^nH_{ij}Y_j$ $\hat{Y}=HY$

\frac{\sum_{i = 1} (Y - \hat{Y_{i}})^{2}}{σ^{2}} = \frac{(Y - \hat{Y})^{T} (Y - \hat{Y})}{σ^{2}} = \frac{(Y - H Y)^{T} (Y - H Y)}{σ^{2}}

$\frac{\sum_{i=1}(Y-\hat{Y_i})^2}{\sigma^2}=\frac{(Y-\hat{Y})^T(Y-\hat{Y})}{\sigma^2}=\frac{(Y-HY)^T(Y-HY)}{\sigma^2}$

= \frac{Y^{T} (I_{n} - H) Y}{σ^{2}}

$=\frac{Y^T(I_n-H)Y}{\sigma^2}$

Trong đó là ma trận danh tính của đơn hàng . Bước cuối cùng xuất phát từ thực tế rằng là một ma trận bình dị, vì $I_n$ $n$ $H$

H^{2} = [X (X^{T} X)^{- 1} X^{T}] [X (X^{T} X)^{- 1} X^{T}] = X (X^{T} X)^{- 1} X^{T} = H = H H^{T} = H^{T} H

$H^2=[X(X^TX)^{-1}X^T][X(X^TX)^{-1}X^T]=X(X^TX)^{-1}X^T=H=HH^T=H^TH$

Bây giờ một tính chất gọn gàng của ma trận bình dị là tất cả các giá trị riêng của chúng phải bằng 0 hoặc 1. Để biểu thị một hàm riêng được chuẩn hóa của với eigenvalue , chúng ta có thể chứng minh điều này như sau: $e$ $H$ $l$

H e = l e ⟹ H (H e) = H (l e)

$He=le\implies H(He)=H(le)$

L H S = H^{2} e = H e = l e R H S = l H e = l^{2} e

$LHS=H^2e=He=le\;\;\; RHS=lHe=l^2e$

⟹ l e = l^{2} e ⟹ l = 0 or 1

$\implies le=l^2e\implies l=0\text{ or }1$

(lưu ý rằng không thể bằng 0 vì nó phải thỏa mãn ) Bây giờ vì là idepotent, cũng vậy, bởi vì $e$ $e^Te=1$ $H$ $I_n-H$

(I_{n} - H) (I_{n} - H) = I - I H - H I + H^{2} = I_{n} - H

$(I_n-H)(I_n-H)=I-IH-HI+H^2=I_n-H$

Chúng ta cũng có tính chất là tổng của các giá trị riêng bằng dấu vết của ma trận và

t r (I_{n} - H) = t r (I_{n}) - t r (H) = n - t r (X (X^{T} X)^{- 1} X^{T}) = n - t r ((X^{T} X)^{- 1} X^{T} X)

$tr(I_n-H)=tr(I_n)-tr(H)=n-tr(X(X^TX)^{-1}X^T)=n-tr((X^TX)^{-1}X^TX)$

= n - t r (I_{p + 1}) = n - p - 1

$=n-tr(I_{p+1})=n-p-1$

Do đó phải có giá trị riêng bằng và giá trị riêng bằng . $I-H$ $n-p-1$ $1$ $p+1$ $0$

Bây giờ chúng ta có thể sử dụng phân rã phổ của trong đó và là trực giao (vì là đối xứng). Một tài sản hơn nữa đó là hữu ích là . Điều này giúp thu hẹp ma trận $I-H=ADA^T$ $D=\begin{pmatrix}I_{n-p-1} & 0_{[n-p-1]\times[p+1]}\\0_{[p+1]\times [n-p-1]} & 0_{[p+1]\times [p+1]}\end{pmatrix}$ $A$ $I-H$ $HX=X$ $A$

H X = X ⟹ (I - H) X = 0 ⟹ A D A^{T} X = 0 ⟹ D A^{T} X = 0

$HX=X\implies(I-H)X=0\implies ADA^TX=0\implies DA^TX=0$

⟹ (A^{T} X)_{i j} = 0 i = 1, \dots, n - p - 1 j = 1, \dots, p + 1

$\implies (A^TX)_{ij}=0\;\;\;i=1,\dots,n-p-1\;\;\; j=1,\dots,p+1$

và chúng tôi nhận được:

\frac{\sum_{i = 1} (Y - \hat{Y_{i}})^{2}}{σ^{2}} = \frac{Y^{T} A D A^{T} Y}{σ^{2}} = \frac{\sum_{i = 1}^{n - p - 1} (A^{T} Y)_{i}^{2}}{σ^{2}}

$\frac{\sum_{i=1}(Y-\hat{Y_i})^2}{\sigma^2}=\frac{Y^TADA^TY}{\sigma^2}=\frac{\sum_{i=1}^{n-p-1}(A^TY)_i^2}{\sigma^2}$

Bây giờ, trong mô hình chúng ta có và sử dụng lý thuyết chuẩn thông thường, chúng ta có cho thấy các thành phần của là độc lập. Bây giờ bằng cách sử dụng kết quả hữu ích, chúng ta có cho . Phân phối chi bình phương với bậc tự do cho tổng các lỗi bình phương ngay sau đó. $Y\sim N(X\beta,\sigma^2I)$ $A^TY\sim N(A^TX\beta,\sigma^2A^TA)\sim N(A^TX\beta,\sigma^2I)$ $A^TY$ $(A^TY)_i\sim N(0,\sigma^2)$ $i=1,\dots,n-p-1$ $n-p-1$

— xác suất
nguồn

Wow, cảm ơn bạn rất nhiều. Nó thực sự là tuyệt vời! Hình thức ma trận thực sự được đền đáp! Tóm lại, SSE / và là idempotent. Ma trận tạm thời có giá trị riêng là 0 hoặc 1. Vậy tổng giá trị riêng là số của giá trị riêng 1. và kể từ và trở thành n-p +1. và tổng giá trị riêng của một ma trận là tổng các dấu vết của ma trận! và có thể được diễn tả như . Vì vậy, đầu tiên trở thành với D chỉ với np-1 đường chéo 1's.

σ^{2} = Y^{T} (I - H) Y

$\sigma^2 = Y^T(I-H)Y$

I - H

$I-H$

t r (I_{n} - H) = t r (I_{n}) - t r (H) = t r (I_{n}) - t r (X (X^{T} X)^{-} 1 X^{T}) = t r (I_{n}) - t r ((X^{T} X)^{-} 1 X^{T} X)

$tr(I_n-H)= tr(I_n)-tr(H)=tr(I_n)-tr(X(X^T X)^-1 X^T)=tr(I_n)-tr((X^T X)^-1 X^T X)$

t r (A B) = t r (B A)

$tr(AB)=tr(BA)$

t r (I_{n} - H)

$tr(I_n-H)$

I - H

$I-H$

A D A^{T}

$ADA^T$

Y^{T} (I - H) Y

$Y^T(I-H)Y$

Y^{T} A D A^{T} Y

$Y^TADA^TY$

— KH Kim

Câu trả lời chính xác!! Chỉ cần trình bày một cách tiếp cận khác, thay vào đó, chúng ta có thể chọn định nghĩa một biến thông thường đa biến đổi và nó vẫn sẽ theo cùng một phân phối nếu chúng ta sử dụng tài sản affine. Sau đó, phân số cuối cùng .

v := A^{'} Y

$v := A'Y$

N (0, σ^{2} I)

$\mathcal{N}\left(0, \sigma^{2}I\right)$

\frac{Y^{'} A D A^{'} Y}{σ^{2}} = \frac{v^{'} D v}{σ^{2}} = \frac{v^{'} [\begin{matrix} I & 0 \\ 0 & 0 \end{matrix}] v}{σ^{2}} = \sum_{i = 1}^{tr D} {(\frac{v_{i}}{σ})}^{2}

$\frac{Y'ADA'Y}{\sigma^{2}} = \frac{v'Dv}{\sigma^{2}} = \frac{v'\begin{bmatrix} I & 0\\0 & 0\end{bmatrix}v}{\sigma^{2}}= \sum_{i=1}^{\operatorname{tr}D} \left(\frac{v_{i}}{\sigma}\right)^{2}$

— Daeyoung Lim