Ma trận phương sai hiệp phương sai của các lỗi trong hồi quy tuyến tính

Ma trận lỗi var / cov được tính theo các gói phân tích thống kê trong thực tế như thế nào?

Ý tưởng này là rõ ràng với tôi trong lý thuyết. Nhưng không phải trong thực tế. Ý tôi là, nếu tôi có một vectơ các biến ngẫu nhiên , tôi hiểu rằng ma trận phương sai / hiệp phương sai sẽ được cung cấp sản phẩm bên ngoài của các vectơ lệch từ: .$\textbf{X}=(X_{1}, X_{2}, \ldots, X_{n})^\top$$\Sigma$$\Sigma=\mathrm{E}\left[(\textbf{X}-\mathrm{E}(\textbf{X}))(\textbf{X}-\mathrm{E}(\textbf{X}))^\top\right]$

Nhưng khi tôi có một mẫu, các lỗi quan sát của tôi không phải là các biến ngẫu nhiên. Hoặc tốt hơn là họ, nhưng chỉ khi tôi lấy một số mẫu giống hệt nhau từ cùng một dân số. Mặt khác, chúng được đưa ra. Vì vậy, một lần nữa câu hỏi của tôi là: làm thế nào một gói thống kê có thể tạo ra ma trận var / cov bắt đầu từ một danh sách các quan sát (tức là một mẫu) được cung cấp bởi nhà nghiên cứu?

Ma trận hiệp phương sai cho một mô hình loại thường được tính là trong đó là tổng bình phương còn lại, và là mức độ tự do (thường là số lượng quan sát trừ đi số lượng tham số).$y = X\beta + \epsilon$

Đối với các lỗi tiêu chuẩn mạnh và hoặc cụm, sản phẩm được sửa đổi một chút. Cũng có thể có các cách khác để tính ma trận hiệp phương sai, ví dụ như được đề xuất bởi kỳ vọng của các sản phẩm bên ngoài.$X^t X$

1. Ước tính OLS của phương sai lỗi , :$\sigma^2$

Điều này được bao gồm trong Hồi quy thực tế và Anova sử dụng R của Julian J. Faraway, trang 21 .

Ví dụ về tính toán của nó trong R, dựa trên mô hình tuyến tính dặm mỗi gallon thụt lùi trên nhiều thông số kỹ thuật mẫu xe nằm trong mtcarscơ sở dữ liệu: ols = lm(mpg ~ disp + drat + wt, mtcars). Đây là các tính toán thủ công và đầu ra của lm()hàm:

> rdf = nrow(X) - ncol(X)                    # Residual degrees of freedom
> s.sq = as.vector((t(ols$residuals) %*% ols$residuals) / rdf) 
>                                            # s square (OLS estimate of sigma square)
> (sigma = sqrt(s.sq))                       # Residual standar error
[1] 2.950507
> summary(ols)

Call:
lm(formula = mpg ~ disp + drat + wt, data = mtcars)
...
Residual standard error: 2.951 on 28 degrees of freedom

2. Phương sai - Ma trận hiệp phương sai của các hệ số ước tính , :$\hat \beta$

ước tính như trong trang 8 của tài liệu trực tuyến này như

> X = model.matrix(ols)                             # Model matrix X
> XtX = t(X) %*% X                                  # X transpose X
> Sigma = solve(XtX) * s.sq                         # Variance - covariance matrix
> all.equal(Sigma, vcov(ols))                       # Same as built-in formula
[1] TRUE
> sqrt(diag(Sigma))                                 # Calculated Std. Errors of coef's
(Intercept)        disp        drat          wt 
7.099791769 0.009578313 1.455050731 1.217156605 
> summary(ols)[[4]][,2]                             # Output of lm() function
(Intercept)        disp        drat          wt 
7.099791769 0.009578313 1.455050731 1.217156605 

Với hồi quy tuyến tính, chúng tôi đang điều chỉnh mô hình . là biến phụ thuộc, là biến dự đoán (giải thích). Chúng tôi sử dụng dữ liệu được cung cấp cho chúng tôi (tập huấn luyện hoặc mẫu) để ước tính dân số . Các không được coi là các biến ngẫu nhiên. Các là ngẫu nhiên vì thành phần lỗi.$Y = \beta*X +\varepsilon$$Y$$X$$\beta$$X$$Y$