Lỗi tiêu chuẩn cho hệ số hồi quy bội?

Tôi nhận ra rằng đây là một câu hỏi rất cơ bản, nhưng tôi không thể tìm thấy câu trả lời ở bất cứ đâu.

Tôi đang tính toán các hệ số hồi quy bằng cách sử dụng phương trình bình thường hoặc phân tách QR. Làm thế nào tôi có thể tính toán các lỗi tiêu chuẩn cho từng hệ số? Tôi thường nghĩ về các lỗi tiêu chuẩn được tính là:

$SE_\bar{x}\ = \frac{\sigma_{\bar x}}{\sqrt{n}}$

Là gì $\sigma_{\bar x}$ cho mỗi hệ số? Cách hiệu quả nhất để tính toán điều này trong bối cảnh OLS là gì?

Khi làm quảng trường ước tính tối thiểu (giả sử một thành phần ngẫu nhiên bình thường) dự toán tham số hồi quy thường được phân phối với trung bình bằng với tham số hồi quy trung thực và hiệp phương sai ma trận nơi s 2 là phương sai dư và X T X là ma trận thiết kế. X T là chuyển vị của X và X được xác định bởi phương trình mô hình Y = X β + ε với $\Sigma = s^2\cdot(X^TX)^{-1}$$s^2$$X^TX$$X^T$$X$$X$$Y=X\beta+\epsilon$$\beta$ các thông số hồi quy và là sai số. Độ lệch chuẩn ước tính của một tham số beta được nhận bằng cách lấy số hạng tương ứng trong ( X T X ) - 1 nhân nó với ước tính mẫu của phương sai dư và sau đó lấy căn bậc hai. Đây không phải là một phép tính đơn giản nhưng bất kỳ gói phần mềm nào cũng sẽ tính toán nó cho bạn và cung cấp nó ở đầu ra.$\epsilon$$(X^TX)^{-1}$

Thí dụ

Trên trang 134 của Draper và Smith (tham chiếu trong nhận xét của tôi), họ cung cấp các dữ liệu sau cho phù hợp bởi phương nhỏ nhất một mô hình nơi ε ~ N ( 0 , tôi σ 2 ) .$Y = \beta_0 + \beta_1 X + \varepsilon$$\varepsilon \sim N(0, \mathbb{I}\sigma^2)$

                      X                      Y                    XY
                      0                     -2                     0
                      2                      0                     0
                      2                      2                     4
                      5                      1                     5
                      5                      3                    15
                      9                      1                     9
                      9                      0                     0
                      9                      0                     0
                      9                      1                     9
                     10                     -1                   -10
                    ---                     --                   ---
Sum                  60                      5                    32
Sum of  Squares     482                     21                   528

Trông giống như một ví dụ trong đó độ dốc phải gần bằng 0.

$$X^t = \pmatrix{ 1 &1 &1 &1 &1 &1 &1 &1 &1 &1 \\ 0 &2 &2 &5 &5 &9 &9 &9 &9 &10 }.$$

Vì thế

$$X^t X = \pmatrix{n &\sum X_i \\ \sum X_i &\sum X_i^2} = \pmatrix{10 &60 \\60 &482}$$

và

$$\eqalign{ (X^t X)^{-1} &= \pmatrix{ \frac{\sum X_i^2}{n \sum (X_i - \bar{X})^2} &\frac{-\bar{X}}{\sum (X_i-\bar{X})^2} \\ \frac{-\bar{X}}{\sum (X_i-\bar{X})^2} &\frac{1}{\sum (X_i-\bar{X})^2} } \\ &= \pmatrix{\frac{482}{10(122)} &-\frac{6}{122} \\ -\frac{6}{122} &\frac{1}{122}} \\ &= \pmatrix{0.395 &-0.049 \\ -0.049 &0.008} }$$

nơi .$\bar{X} = \sum X_i/n = 60/10 = 6$

Ước tính cho $β = (X^TX)^{-1} X^TY$ = (b0) = (Yb-b1 XB) b1 SXY / SXX

b1 = 1/61 = 0,0163 và b0 = 0,5- 0,0163 (6) = 0,402

Từ trên Sb1 = Se (0,008) và Sb0 = Se (0,336) trong đó Se là độ lệch chuẩn ước tính cho cụm từ lỗi. Se = .302.3085.$(X^TX)^{-1}$

Xin lỗi rằng các phương trình đã không thực hiện đăng ký và siêu ký tự khi tôi cắt và dán chúng. Bảng cũng không tái tạo tốt vì các khoảng trắng bị bỏ qua. Chuỗi đầu tiên gồm 3 số tương ứng với các giá trị đầu tiên của XY và XY và tương tự cho chuỗi tiếp theo của ba. Sau Sum tính tổng cho XY và XY tương ứng và sau đó tổng bình phương cho XY và XY tương ứng. Các ma trận 2x2 cũng bị rối tung lên. Các giá trị sau dấu ngoặc phải nằm trong dấu ngoặc bên dưới các số ở bên trái.