Sử dụng phân rã giá trị số ít để tính ma trận hiệp phương sai từ mô hình hồi quy tuyến tính

Tôi có một ma trận thiết kế gồm các biến hồi quy p, n quan sát và tôi đang cố gắng tính toán ma trận phương sai mẫu của các tham số. Tôi đang cố gắng tính toán trực tiếp bằng svd.

Tôi đang sử dụng R, khi tôi lấy svd của ma trận thiết kế, tôi nhận được ba thành phần: ma trận là , ma trận là (có lẽ là giá trị riêng) và ma trận là . Tôi cắt chéo , biến nó thành ma trận với 0 trong các đường chéo.n × p V 3 × 3 D 3 × $U$$n \times p$$D$$1\times 3$$V$$3\times 3$$D$$3\times 3$

Giả sử, công thức cho hiệp phương sai là: , tuy nhiên, ma trận không khớp, thậm chí nó không gần với hàm tích hợp của R , . Có ai có lời khuyên / tài liệu tham khảo? Tôi thừa nhận rằng tôi có một chút không có kỹ năng trong lĩnh vực này.$V D^2 V'$vcov

Trước tiên, hãy nhớ lại rằng theo các giả định về tính quy tắc đa biến của mô hình hồi quy tuyến tính, chúng ta có

$$\hat{\beta} \sim \mathcal{N}( \beta, \sigma^2 (X^T X)^{-1} ) .$$

Bây giờ, nếu nơi phía bên tay phải là SVD của X, sau đó chúng tôi nhận được rằng . Do đó, X T X = V D U T U D V = V D 2 V T ( X T X ) - 1 = V D - 2 V T$X = U D V^T$$X^T X = V D U^T U D V = V D^2 V^T$

$$(X^T X)^{-1} = V D^{-2} V^T .$$

Chúng tôi vẫn đang thiếu ước tính của phương sai, đó là

$$\hat{\sigma}^2 = \frac{1}{n - p} (y^T y - \hat{\beta}^T X^T y) .$$

Mặc dù tôi đã không kiểm tra, hy vọng vcov lợi nhuận .$\hat{\sigma}^2 V D^{-2} V^T$

Lưu ý: Bạn đã viết , là , nhưng chúng ta cần nghịch đảo cho ma trận phương sai hiệp phương sai. Cũng lưu ý rằng trong , để thực hiện tính toán này, bạn cần phải làmX T X $V D^2 V^T$$X^T X$$R$

vcov.matrix <- var.est * (v %*% d^(-2) %*% t(v))

quan sát rằng để nhân ma trận, chúng tôi sử dụng %*%thay vì chỉ *. var.estở trên là ước tính phương sai của nhiễu.

(Ngoài ra, tôi đã đưa ra các giả định rằng là toàn hạng và trong suốt. Nếu đây không phải là trường hợp, bạn sẽ phải thực hiện các sửa đổi nhỏ cho điều trên.)n ≥ $X$$n \geq p$