Tại sao RSS được phân phối chi vuông lần np?


28

Tôi muốn hiểu tại sao, theo mô hình OLS, RSS (tổng bình phương còn lại) được phân phối ( p là số lượng tham số trong mô hình, n số lượng quan sát).

χ2(np)
pn

Tôi xin lỗi vì đã hỏi một câu hỏi cơ bản như vậy, nhưng dường như tôi không thể tìm thấy câu trả lời trực tuyến (hoặc trong sách giáo khoa của tôi, theo định hướng ứng dụng hơn).


3
Lưu ý rằng các câu trả lời chứng minh khẳng định không hoàn toàn đúng: phân phối RSS là (không phải n - p ) lần phân phối χ 2 ( n - p ) trong đó σ 2 là phương sai thực sự của các lỗi. σ2npχ2(np)σ2
whuber

Câu trả lời:


36

Tôi xem xét các mô hình tuyến tính sau: .y=Xβ+ϵ

Vectơ của phần dư được ước tính bởi

ϵ^=yXβ^=(IX(XX)1X)y=Qy=Q(Xβ+ϵ)=Qϵ

nơi .Q=IX(XX)1X

Quan sát rằng (dấu vết là bất biến theo hoán vị tuần hoàn) và Q = Q = Q 2 . Do đó, giá trị riêng của Q01 (một số chi tiết bên dưới). Do đó, tồn tại một ma trận đơn vị V sao cho ( ma trận có thể chéo bởi ma trận đơn vị khi và chỉ khi chúng bình thường. )tr(Q)=npQ=Q=Q2Q01V

VQV=Δ=diag(1,,1np times,0,,0p times)

K=Vϵ^

ϵ^N(0,σ2Q)KN(0,σ2Δ)Knp+1==Kn=0

K2σ2=K2σ2χnp2

với .K=(K1,,Knp)

Hơn nữa, vì là một ma trận đơn nhất, chúng ta cũng cóV

ϵ^2=K2=K2

Như vậy

RSSσ2χnp2

Cuối cùng, quan sát rằng kết quả này ngụ ý rằng

E(RSSnp)=σ2

Q2Q=0Qz2zQ01tr(Q)=np1npp


1
VQSCR

2
@ Thẻ. Điểm tốt. SCR ('Somme des Carrés Résiduels' trong tiếng Pháp) nên đã được RSS.
ocram

Cảm ơn bạn đã trả lời chi tiết Ocram! Một số bước sẽ yêu cầu tôi tìm kiếm nhiều hơn, nhưng tôi có một phác thảo để suy nghĩ về bây giờ - cảm ơn!
Tal Galili

@Glen_b: Ồ, tôi đã chỉnh sửa vài ngày trước để thay đổi SCR thành SRR. Tôi không nhớ rằng SCR được nhắc đến trong bình luận của tôi. Xin lỗi vì sự nhầm lẫn.
ocram

@Glen_b: Nó được cho là có nghĩa là RSS: -S Chỉnh sửa lại. Thx
ocram

9

Y=Xβ+ϵY=μ+σGGRnμWRn

μ^μPWYYWμPWYWWRnWdim(W)=ndim(W)

PWY=PW(μ+σG)=0+σPWG,
PWGWχ2dim(W)

Trình diễn này chỉ sử dụng một định lý, thực ra là một định lý định lý:

RnURnUU

(từ định lý định nghĩa này, định lý của Cochran rõ ràng đến mức không đáng để nêu nó)

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.