Cách lấy sai số chuẩn của hệ số hồi quy tuyến tính

20

Đối với mô hình hồi quy tuyến tính đơn biến này cung cấp tập dữ liệu , ước tính hệ số là Đây là câu hỏi của tôi, theo sách và Wikipedia , lỗi tiêu chuẩn của là Làm thế nào và tại sao?

y_{tôi} = = β_{0} + β_{1} x_{tôi} + ε_{tôi}

$y_i = \beta_0 + \beta_1x_i+\epsilon_i$

D = {(x_{1}, y_{1}), . . ., (x_{n}, y_{n})}

$D=\{(x_1,y_1),...,(x_n,y_n)\}$

{\hat{β}}_{1} = = \frac{\underset{tôi}{Σ} x_{tôi} y_{tôi} - n \bar{x} \bar{y}}{n {\bar{x}}^{2} - \underset{tôi}{Σ} x_{tôi}^{2}}

$\hat\beta_1=\frac{\sum_ix_iy_i-n\bar x\bar y}{n\bar x^2-\sum_ix_i^2}$

{\hat{β}}_{0} = = \bar{y} - {\hat{β}}_{1} \bar{x}

$\hat\beta_0=\bar y - \hat\beta_1\bar x$

{\hat{β}}_{1}

$\hat\beta_1$

S_{{\hat{β}}_{1}} = = \sqrt{\frac{\underset{tôi}{Σ} {\hat{ε}}_{tôi}^{2}}{(n - 2) \underset{tôi}{Σ} (x_{tôi} - \bar{x})^{2}}}

$s_{\hat\beta_1}=\sqrt{\frac{\sum_i\hat\epsilon_i^2}{(n-2)\sum_i(x_i-\bar x)^2}}$

standard-error inference

— trái bơ
nguồn

1

stats.stackexchange.com/questions/44838/ Cách

— ocram

@ocram, cảm ơn, nhưng tôi không đủ khả năng xử lý các công cụ ma trận, tôi sẽ thử.

— bơ

1

@ocram, tôi đã hiểu làm thế nào nó đến. Nhưng vẫn còn một câu hỏi: trong bài viết của tôi, lỗi tiêu chuẩn có

(n - 2)

$(n-2)$ , theo câu trả lời của bạn thì không, tại sao?

— bơ

15

Nhận xét thứ 3 ở trên: Tôi đã hiểu nó đến như thế nào. Nhưng vẫn còn một câu hỏi: trong bài viết của tôi, lỗi tiêu chuẩn có (n − 2), theo câu trả lời của bạn, nó không, tại sao?

Trong bài đăng của tôi , người ta thấy rằng Mẫu số có thể được viết là Do đó,

\hat{se} (\hat{b}) = = \sqrt{\frac{n {\hat{σ}}^{2}}{n Σ x_{tôi}^{2} - (Σ x_{tôi})^{2}}} .

$\widehat{\text{se}}(\hat{b}) = \sqrt{\frac{n \hat{\sigma}^2}{n\sum x_i^2 - (\sum x_i)^2}}.$

n \underset{tôi}{Σ} (x_{tôi} - \bar{x})^{2}

$n \sum_i (x_i - \bar{x})^2$

\hat{se} (\hat{b}) = = \sqrt{\frac{{\hat{σ}}^{2}}{\underset{tôi}{Σ} (x_{tôi} - \bar{x})^{2}}}

$\widehat{\text{se}}(\hat{b}) = \sqrt{\frac{\hat{\sigma}^2}{\sum_i (x_i - \bar{x})^2}}$

Với

{\hat{σ}}^{2} = = \frac{1}{n - 2} \underset{tôi}{Σ} {\hat{ε}}_{tôi}^{2}

$\hat{\sigma}^2 = \frac{1}{n-2} \sum_i \hat{\epsilon}_i^2$ tức là Lỗi bình phương trung bình (MSE) trong bảng ANOVA, chúng tôi kết thúc bằng biểu thức của bạn cho

\hat{se} (\hat{b})

$\widehat{\text{se}}(\hat{b})$ . Các

n - 2

$n-2$ chiếm hạn cho sự mất mát của 2 bậc tự do trong việc ước lượng đánh chặn và độ dốc.

— bát giác
nguồn

1

Tôi nghĩ rằng tôi nhận được mọi thứ khác mong đợi phần cuối cùng. Bạn có thể hiển thị từng bước tại sao không? Tôi cũng biết nó liên quan đến mức độ tự do, nhưng tôi không có được toán học.

{\hat{σ}}^{2} = \frac{1}{n - 2} \sum_{i} {\hat{ϵ}}_{i}^{2}

$\hat{\sigma}^2 = \frac{1}{n-2} \sum_i \hat{\epsilon}_i^2$

— Mappi

2

một cách nghĩ khác về n-2 df là bởi vì chúng tôi sử dụng 2 phương tiện để ước tính hệ số độ dốc (giá trị trung bình của Y và X)

df từ Wikipedia: "... Nói chung, mức độ tự do ước tính của một tham số bằng với số điểm độc lập đi vào ước tính trừ đi số lượng tham số được sử dụng làm bước trung gian trong ước tính của chính tham số . "

— Eivind
nguồn

2

Đây không thực sự là một dẫn xuất như vậy, mặc dù nó là một trực giác. Đối với một số sự tinh tế liên quan đến điều này, mặc dù, hãy xem Làm thế nào để hiểu mức độ tự do?

— Cá bạc