Làm thế nào là các lỗi tiêu chuẩn của hệ số được tính toán trong hồi quy?

114

Theo hiểu biết của riêng tôi, tôi quan tâm đến việc sao chép thủ công các phép tính sai số chuẩn của các hệ số ước tính, ví dụ, đi kèm với đầu ra của lm()hàm trong R, nhưng không thể xác định được. Công thức / thực hiện được sử dụng là gì?

— ako
nguồn

Câu hỏi hay, nhiều người biết hồi quy theo quan điểm đại số tuyến tính, trong đó bạn giải phương trình tuyến tính và nhận câu trả lời cho beta. Không rõ tại sao chúng ta có lỗi tiêu chuẩn và giả định đằng sau nó.

X^{'} X β = X^{'} y

$X'X\beta=X'y$

— Haitao Du

Câu trả lời:

122

Mô hình tuyến tính được viết là Trong đó biểu thị vectơ phản hồi, là vectơ của các tham số hiệu ứng cố định, là ma trận thiết kế tương ứng có các cột là giá trị của các biến giải thích và là vectơ của các lỗi ngẫu nhiên.

| \begin{array}{l} y = X β + ϵ \\ ϵ \sim N (0, σ^{2} I), \end{array}

$\left| \begin{array}{l} \mathbf{y} = \mathbf{X} \mathbf{\beta} + \mathbf{\epsilon} \\ \mathbf{\epsilon} \sim N(0, \sigma^2 \mathbf{I}), \end{array} \right.$

y

$\mathbf{y}$

β

$\mathbf{\beta}$

X

$\mathbf{X}$

ϵ

$\mathbf{\epsilon}$

Người ta biết rằng ước tính của được đưa ra bởi (tham khảo, ví dụ: bài viết trên wikipedia ) Do đó [nhắc nhở: , đối với một số vectơ ngẫu nhiên và một số ma trận không ngẫu nhiên ] $\mathbf{\beta}$

\hat{β} = (X^{'} X)^{- 1} X^{'} y .

$\hat{\mathbf{\beta}} = (\mathbf{X}^{\prime} \mathbf{X})^{-1} \mathbf{X}^{\prime} \mathbf{y}.$

Var (\hat{β}) = (X^{'} X)^{- 1} X^{'} σ^{2} I X (X^{'} X)^{- 1} = σ^{2} (X^{'} X)^{- 1},

$\textrm{Var}(\hat{\mathbf{\beta}}) = (\mathbf{X}^{\prime} \mathbf{X})^{-1} \mathbf{X}^{\prime} \;\sigma^2 \mathbf{I} \; \mathbf{X} (\mathbf{X}^{\prime} \mathbf{X})^{-1} = \sigma^2 (\mathbf{X}^{\prime} \mathbf{X})^{-1},$

Var (A X) = A \times Var (X) \times A'

$\textrm{Var}(AX)=A\times \textrm{Var}(X) \times A′$

X

$X$

A

$A$

sao cho trong đó có thể nhận được bằng Lỗi bình phương trung bình (MSE) trong bảng ANOVA.

\hat{Var} (\hat{β}) = {\hat{σ}}^{2} (X^{'} X)^{- 1},

$\widehat{\textrm{Var}}(\hat{\mathbf{\beta}}) = \hat{\sigma}^2 (\mathbf{X}^{\prime} \mathbf{X})^{-1},$

{\hat{σ}}^{2}

$\hat{\sigma}^2$

Ví dụ với hồi quy tuyến tính đơn giản trong R

#------generate one data set with epsilon ~ N(0, 0.25)------
seed <- 1152 #seed
n <- 100     #nb of observations
a <- 5       #intercept
b <- 2.7     #slope

set.seed(seed)
epsilon <- rnorm(n, mean=0, sd=sqrt(0.25))
x <- sample(x=c(0, 1), size=n, replace=TRUE)
y <- a + b * x + epsilon
#-----------------------------------------------------------

#------using lm------
mod <- lm(y ~ x)
#--------------------

#------using the explicit formulas------
X <- cbind(1, x)
betaHat <- solve(t(X) %*% X) %*% t(X) %*% y
var_betaHat <- anova(mod)[[3]][2] * solve(t(X) %*% X)
#---------------------------------------

#------comparison------
#estimate
> mod$coef
(Intercept)           x 
   5.020261    2.755577 

> c(betaHat[1], betaHat[2])
[1] 5.020261 2.755577

#standard error
> summary(mod)$coefficients[, 2]
(Intercept)           x 
 0.06596021  0.09725302 

> sqrt(diag(var_betaHat))
                    x 
0.06596021 0.09725302 
#----------------------

Khi có một biến giải thích duy nhất, mô hình sẽ giảm xuống và sao cho và các công thức trở nên trong suốt hơn. Ví dụ: lỗi tiêu chuẩn của độ dốc ước tính là

y_{i} = a + b x_{i} + ϵ_{i}, i = 1, \dots, n

$y_i = a + bx_i + \epsilon_i, \qquad i = 1, \dotsc, n$

X = (\begin{array}{cc} 1 & x_{1} \\ 1 & x_{2} \\ ⋮ & ⋮ \\ 1 & x_{n} \end{array}), β = (\begin{matrix} a \\ b \end{matrix})

$\mathbf{X} = \left( \begin{array}{cc} 1 & x_1 \\ 1 & x_2 \\ \vdots & \vdots \\ 1 & x_n \end{array} \right), \qquad \mathbf{\beta} = \left( \begin{array}{c} a\\b \end{array} \right)$

(X^{'} X)^{- 1} = \frac{1}{n \sum x_{i}^{2} - (\sum x_{i})^{2}} (\begin{array}{cc} \sum x_{i}^{2} & - \sum x_{i} \\ - \sum x_{i} & n \end{array})

$(\mathbf{X}^{\prime} \mathbf{X})^{-1} = \frac{1}{n\sum x_i^2 - (\sum x_i)^2} \left( \begin{array}{cc} \sum x_i^2 & -\sum x_i \\ -\sum x_i & n \end{array} \right)$

\sqrt{\hat{Var} (\hat{b})} = \sqrt{[{\hat{σ}}^{2} (X^{'} X)^{- 1}]_{22}} = \sqrt{\frac{n {\hat{σ}}^{2}}{n \sum x_{i}^{2} - (\sum x_{i})^{2}}} .

$\sqrt{\widehat{\textrm{Var}}(\hat{b})} = \sqrt{[\hat{\sigma}^2 (\mathbf{X}^{\prime} \mathbf{X})^{-1}]_{22}} = \sqrt{\frac{n \hat{\sigma}^2}{n\sum x_i^2 - (\sum x_i)^2}}.$

> num <- n * anova(mod)[[3]][2]
> denom <- n * sum(x^2) - sum(x)^2
> sqrt(num / denom)
[1] 0.09725302

— bát giác
nguồn

Cảm ơn câu trả lời thấu đáo. Vì vậy, tôi lấy nó theo công thức cuối cùng không giữ trong trường hợp đa biến?

— ako

Không, công thức cuối cùng chỉ hoạt động cho ma trận X cụ thể của mô hình tuyến tính đơn giản. Trong trường hợp đa biến, bạn phải sử dụng công thức chung được đưa ra ở trên.

— ocram

+1, một câu hỏi nhanh, làm thế nào đến?

V a r (\hat{β})

$Var(\hat\beta)$

— bơ

@loganecolss: Nó xuất phát từ thực tế là , đối với một số véc tơ ngẫu nhiên và một số ma trận không ngẫu nhiên .

Var (A X) = A Var(X) A^{'}

$\text{Var}(AX)=A\text{Var(X)}A'$

X

$X$

A

$A$

— ocram

lưu ý rằng đây là những câu trả lời đúng cho tính toán tay, nhưng việc triển khai thực tế được sử dụng trong lm.fit/ summary.lmhơi khác một chút, vì tính ổn định và hiệu quả ...

— Ben Bolker

Các công thức cho những điều này có thể được tìm thấy trong bất kỳ văn bản trung gian nào về thống kê, đặc biệt, bạn có thể tìm thấy chúng trong Sheather (2009, Chương 5) , từ đó cũng thực hiện bài tập sau (trang 138).

Mã R sau đây tính toán các ước tính hệ số và các lỗi tiêu chuẩn của chúng theo cách thủ công

dfData <- as.data.frame(
  read.csv("http://www.stat.tamu.edu/~sheather/book/docs/datasets/MichelinNY.csv",
                   header=T))

# using direct calculations
vY <- as.matrix(dfData[, -2])[, 5]                        # dependent variable
mX <- cbind(constant = 1, as.matrix(dfData[, -2])[, -5])  # design matrix

vBeta <- solve(t(mX)%*%mX, t(mX)%*%vY)                    # coefficient estimates
dSigmaSq <- sum((vY - mX%*%vBeta)^2)/(nrow(mX)-ncol(mX))  # estimate of sigma-squared
mVarCovar <- dSigmaSq*chol2inv(chol(t(mX)%*%mX))          # variance covariance matrix
vStdErr <- sqrt(diag(mVarCovar))                          # coeff. est. standard errors
print(cbind(vBeta, vStdErr))                              # output

tạo ra đầu ra

                         vStdErr
constant   -57.6003854 9.2336793
InMichelin   1.9931416 2.6357441
Food         0.2006282 0.6682711
Decor        2.2048571 0.3929987
Service      3.0597698 0.5705031

So sánh với đầu ra từ lm():

# using lm()
names(dfData)
summary(lm(Price ~ InMichelin + Food + Decor + Service, data = dfData))

tạo ra đầu ra:

Call:
lm(formula = Price ~ InMichelin + Food + Decor + Service, data = dfData)

Residuals:
    Min      1Q  Median      3Q     Max 
-20.898  -5.835  -0.755   3.457 105.785 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept) -57.6004     9.2337  -6.238 3.84e-09 ***
InMichelin    1.9931     2.6357   0.756    0.451    
Food          0.2006     0.6683   0.300    0.764    
Decor         2.2049     0.3930   5.610 8.76e-08 ***
Service       3.0598     0.5705   5.363 2.84e-07 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

Residual standard error: 13.55 on 159 degrees of freedom
Multiple R-squared: 0.6344, Adjusted R-squared: 0.6252 
F-statistic: 68.98 on 4 and 159 DF,  p-value: < 2.2e-16

— tchakravarty
nguồn

Thủ thuật đẹp với solve()chức năng. Điều này sẽ khá lâu hơn một chút nếu không có đại số ma trận. Có cách nào ngắn gọn để thực hiện dòng cụ thể đó chỉ với các toán tử cơ bản không?

— ako

@AkselO Có biểu thức dạng đóng nổi tiếng cho công cụ ước tính OLS, , mà bạn có thể tính toán bằng cách tính toán rõ ràng nghịch đảo của ma trận ( (như @ ocram đã thực hiện), nhưng điều này trở nên khó khăn với ma trận điều hòa.

\hat{β} = (X^{'} X)^{- 1} X Y

$\widehat{\boldsymbol{\beta}} = (\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}\boldsymbol{Y}$

(X^{'} X)

$(\mathbf{X}'\mathbf{X})$

— tchakravarty

Một phần câu trả lời của Ocram là sai. Thực ra:

$\hat{\mathbf{\beta}} = (\mathbf{X}^{\prime} \mathbf{X})^{-1} \mathbf{X}^{\prime} \mathbf{y} - (\mathbf{X}^{\prime} \mathbf{X})^{-1} \mathbf{X}^{\prime} \mathbf{\epsilon}.$

$E(\hat{\mathbf{\beta}}) = (\mathbf{X}^{\prime} \mathbf{X})^{-1} \mathbf{X}^{\prime} \mathbf{y}.$

Và nhận xét của câu trả lời đầu tiên cho thấy cần giải thích thêm về phương sai của hệ số:

$\textrm{Var}(\hat{\mathbf{\beta}}) = E(\hat{\mathbf{\beta}}-E(\hat{\mathbf{\beta}}))^2=\textrm{Var}(- (\mathbf{X}^{\prime} \mathbf{X})^{-1} \mathbf{X}^{\prime} \mathbf{\epsilon}) =(\mathbf{X}^{\prime} \mathbf{X})^{-1} \mathbf{X}^{\prime} \;\sigma^2 \mathbf{I} \; \mathbf{X} (\mathbf{X}^{\prime} \mathbf{X})^{-1} = \sigma^2 (\mathbf{X}^{\prime} \mathbf{X})^{-1}$

Biên tập

Cảm ơn, tôi bỏ qua chiếc mũ trên bản beta đó. Khấu trừ ở trên là . Kết quả đúng là: $\mathbf{wrongly}$ $\mathbf{wrong}$

1.(Để có phương trình này, hãy đặt đạo hàm bậc nhất của trên bằng 0, để tối đa hóa ) $\hat{\mathbf{\beta}} = (\mathbf{X}^{\prime} \mathbf{X})^{-1} \mathbf{X}^{\prime} \mathbf{y}.$ $\mathbf{SSR}$ $\mathbf{\beta}$ $\mathbf{SSR}$

2. $E(\hat{\mathbf{\beta}}|\mathbf{X}) = E((\mathbf{X}^{\prime} \mathbf{X})^{-1} \mathbf{X}^{\prime} (\mathbf{X}\mathbf{\beta}+\mathbf{\epsilon})|\mathbf{X}) = \mathbf{\beta} + ((\mathbf{X}^{\prime} \mathbf{X})^{-1} \mathbf{X}^{\prime})E(\mathbf{\epsilon}|\mathbf{X}) = \mathbf{\beta}.$

3. $\textrm{Var}(\hat{\mathbf{\beta}}) = E(\hat{\mathbf{\beta}}-E(\hat{\mathbf{\beta}}|\mathbf{X}))^2=\textrm{Var}((\mathbf{X}^{\prime} \mathbf{X})^{-1} \mathbf{X}^{\prime} \mathbf{\epsilon}) =(\mathbf{X}^{\prime} \mathbf{X})^{-1} \mathbf{X}^{\prime} \;\sigma^2 \mathbf{I} \; \mathbf{X} (\mathbf{X}^{\prime} \mathbf{X})^{-1} = \sigma^2 (\mathbf{X}^{\prime} \mathbf{X})^{-1}$

Hy vọng nó sẽ giúp.

— Linzhe Nie
nguồn

Đạo hàm của công cụ ước tính OLS cho vectơ beta, , được tìm thấy trong bất kỳ sách giáo khoa hồi quy tốt nào. Trước điều đó, bạn có thể cung cấp bằng chứng rằng nó phải là thay vào đó?

\hat{β} = (X^{'} X)^{- 1} X^{'} Y

$\hat{\boldsymbol \beta} = ({\bf X'X})^{-1}{\bf X'Y}$

\hat{β} = (X^{'} X)^{- 1} X^{'} y - (X^{'} X)^{- 1} X^{'} ϵ

$\hat{\mathbf{\beta}} = (\mathbf{X}^{\prime} \mathbf{X})^{-1} \mathbf{X}^{\prime} \mathbf{y} - (\mathbf{X}^{\prime} \mathbf{X})^{-1} \mathbf{X}^{\prime} \mathbf{\epsilon}$

— gung

của bạn thậm chí không phải là công cụ ước tính, vì không thể quan sát được!

\hat{β}

$\hat\beta$

ϵ

$\epsilon$

— whuber

Điều này cũng có thể được xem trong video này: youtube.com/watch?v=jyBtfhQsf44

— StatsStudent