Tính toán các lỗi tiêu chuẩn cho các vấn đề hồi quy tuyến tính mà không tính toán nghịch đảo

Có cách nào nhanh hơn để tính toán các lỗi tiêu chuẩn cho các vấn đề hồi quy tuyến tính, hơn là đảo ngược không? Ở đây tôi giả sử chúng ta có hồi quy: $X'X$

y = X β + ε,

$y=X\beta+\varepsilon,$

Trong đó $X$ là $n\times k$ ma trận và $y$ là $n\times 1$ vectơ.

Để tìm giải pháp cho vấn đề bình phương tối thiểu, việc thực hiện bất cứ điều gì với là không thực tế $X'X$ , bạn có thể sử dụng phân tách QR hoặc SVD trực tiếp trên ma trận $X$ Hoặc cách khác, bạn có thể sử dụng các phương pháp gradient. Nhưng những gì về lỗi tiêu chuẩn? Chúng tôi thực sự chỉ cần đường chéo của $(X'X)^{-1}$ (và giải pháp LS tự nhiên để tính toán ước tính sai số chuẩn của $\varepsilon$ ). Có bất kỳ phương pháp cụ thể để tính toán lỗi tiêu chuẩn?

linear-algebra optimization

— mpiktas
nguồn

Giả sử rằng bạn đã giải quyết vấn đề bình phương nhỏ nhất của mình bằng cách sử dụng phân tách giá trị số ít (SVD) của , được đưa ra bởi $X$

X = U Σ V^{'},

$X = U\Sigma V',$

trong đó và là đơn vị và là đường chéo. $U$ $V$ $\Sigma$

Sau đó

X^{'} X = V Σ^{2} V^{'} .

$X'X = V \Sigma^2 V'.$

$(X'X)^{-1}$ tồn tại iff là thứ hạng đầy đủ (hoặc có các giá trị số ít dương hoàn toàn), trong trường hợp này $X$

(X^{'} X)^{- 1} = V Σ^{- 2} V^{'} .

$(X'X)^{-1} = V \Sigma^{-2} V'.$

(Xem câu trả lời tôi đã đưa ra cho một câu hỏi liên quan trên Math.SE. )

Nếu bạn đã có và , việc tính toán yêu cầu đảo ngược và bình phương một ma trận đường chéo ( hoạt động cho ma trận ), chia tỷ lệ các cột (hoặc hàng) của ma trận ( thao tác) và một ma trận nhân lên (không may ). Phương pháp này sẽ được xử lý tốt về số lượng. $\Sigma$ $V$ $(X'X)^{-1}$ $n$ $n \times n$ $n^2$ $\mathcal{O}(n^{3})$

Có các phương pháp nhanh để có được các phần tử đường chéo nghịch đảo của ma trận thưa thớt (xem công việc của nhóm Yousef Saad và công việc của Lin Lin, et al ). Tuy nhiên, trong trường hợp của bạn, có thể không thưa thớt (ngay cả khi là) và ngay cả khi có, nó có thể bị điều hòa đủ để các phương pháp nhanh này mang lại kết quả không chính xác. $X'X$ $X$

— Geoff Oxberry
nguồn

+1, tôi quên mất tài sản SVD tốt đẹp đó. Nếu không có câu trả lời nào khác sẽ đến, tôi sẽ chấp nhận câu trả lời này, vì nó khá gần với câu tôi muốn nhận (và chắc chắn cường độ tốt hơn so với câu tôi dự kiến sẽ nhận được :))

— mpiktas

Tôi nên thêm rằng nếu bạn chỉ muốn để tính toán các yếu tố đường chéo của , sau đó quá trình này là nếu bạn đã có SVD của . Tôi có thể viết ra một công thức tính tổng trong câu trả lời của tôi nếu bạn thích.

(X^{'} X)^{- 1}

$(X'X)^{-1}$

O (n^{2})

$\mathcal{O}(n^2)$

X

$X$

— Geoff Oxberry

Không có tài liệu tham khảo; nó chỉ mở rộng một công thức cho các phần tử đường chéo của về các tổng kết phần tử khôn ngoan.

(X^{'} X)^{- 1}

$(X'X)^{-1}$

— Geoff Oxberry

Tôi có thể làm việc đó không có vấn đề. Các hàng tổng của V chia cho bình phương đường chéo của . Khéo léo.

Σ

$\Sigma$

— mpiktas

Bỏ qua bình luận cuối cùng, có một lỗi ở đó. Tôi đã nhận được công thức chính xác mặc dù.

— mpiktas