Sự đánh đổi sai lệch sai lệch này cho các hệ số hồi quy là gì và làm thế nào để rút ra nó?

Trong bài báo này , ( Suy luận Bayes cho các thành phần phương sai chỉ sử dụng tương phản lỗi , Harville, 1974), tác giả tuyên bố là một "nổi tiếng mối quan hệ ", đối với hồi quy tuyến tính trong đó

$$(y-X\beta)'H^{-1}(y-X\beta)=(y-X\hat\beta)'H^{-1}(y-X\hat\beta)+(\beta-\hat\beta)'(X'H^{-1}X)(\beta-\hat\beta)$$ $$y=X\beta+\epsilon,$$ $$\epsilon\sim\mathcal{N}(0, H).$$

Làm thế nào là nổi tiếng này? Cách đơn giản nhất để chứng minh điều này là gì?

Thuật ngữ cuối cùng trong phương trình có thể được viết là

$$(X\beta - X\hat{\beta})'H^{-1}(X\beta - X\hat{\beta}).$$

Trong hình thức này phương trình đang nói điều gì đó thú vị. Giả sử là xác định dương và đối xứng, thì nghịch đảo của nó cũng vậy. Do đó, chúng ta có thể định nghĩa một sản phẩm bên trong < x , y > H - 1 = x ′ H - 1 y , cho chúng ta hình học. Sau đó, sự bình đẳng trên được về cơ bản nói rằng, ( X β - X β ) ⊥ ( y - X β ) $H$$<x, y>_{H^{-1}} = x'H^{-1}y$

$$(X\beta - X\hat{\beta}) \perp (y - X\hat{\beta}).$$

Tôi muốn cung cấp cho bạn một chút trực giác vì một nhà bình luận đã để lại một liên kết đến đạo hàm.

Chỉnh sửa: Dành cho Hậu thế

LHS:

$$\begin{eqnarray} (y-X \beta)'H^{-1}(y-X \beta) &=& y'H^{-1}y &-& 2y'H^{-1}X \beta &+& \beta'X'H^{-1}X\beta \\ &=& (A) &-& (B) &+& (C) \end{eqnarray}$$

RHS:

$$(y-X\hat\beta)'H^{-1}(y-X\hat\beta)+(\beta-\hat\beta)'(X'H^{-1}X)(\beta-\hat\beta)$$ $$\begin{eqnarray} &=& y'H^{-1}y &- 2y'H^{-1}X\hat{\beta} &+ \hat{\beta}'X'H^{-1}X\hat{\beta} &+ \beta X'H^{-1}X\beta &- 2\hat{\beta}X'H^{-1}X\beta &+ \hat{\beta}'X'H^{-1}X\hat{\beta} \\ &=& (A) &- (D) &+ (E) &+ (C) &- (F) &+ (E) \end{eqnarray}$$

Quan hệ:

$$\hat{\beta} = (X'H^{-1}X)^{-1}X'H^{-1}y$$

Bằng cách cắm vào mối quan hệ, bạn có thể chỉ ra rằng (B) = (F) và 2 (E) = (D). Tất cả đã được làm xong.

Họ đến danh tính này bằng một kỹ thuật gọi là hoàn thành hình vuông. Phía bên tay trái ở dạng bậc hai, vì vậy hãy bắt đầu bằng cách nhân nó ra

$$(y-X\beta)'H^{-1}(y-X\beta)= y'H^{-1}y - 2y'H^{-1}X\beta + \beta'X'H^{-1} X\beta$$

tiếp tục và sau đó viết lại về β = ( X ' H - 1 X ) - 1 X ' H - 1 y . Đại số là loại dài nhưng googling hoàn thành hình vuông trong hồi quy Bayes và bạn có thể tìm thấy nhiều gợi ý. Ví dụ, xem wikipedia về hồi quy tuyến tính Bayes và các câu trả lời CrossValided khác liên quan đến việc hoàn thành hình vuông, như ở đây . $\hat{\beta} = (X'H^{-1}X)^{-1}X'H^{-1}y$

Nếu bạn biết đại số ma trận của mình, thì điều này có thể thực hiện được bằng cách nhân mọi thứ ra và xác minh rằng bạn thực sự có điểm giống nhau ở cả hai phía. Đây là những gì jlimahaverford đã chứng minh.

Để có thể làm được điều này bạn cần công thức cho các ước lượng β . Chúng ta có thể rút ra công thức theo cách tương tự như đối với hồi quy tuyến tính khi chúng ta có các thuật ngữ lỗi không tương quan. Bí quyết là chuẩn hóa.$\hat{\beta}$

$$\mathbf{X}\sim \mathcal{N}(\mu,\Sigma).$$ $\Sigma$$\Sigma = PP^T$ $$\mathbf{Y}=P^{-1}(\mathbf{X}-\mu)$$ $\mathcal{N}(0,I)$$\hat{\beta}$$H=PP^T$ $$\begin{align} y&=X\beta+\epsilon\\ P^{-1}y &= P^{-1}X\beta + P^{-1}\epsilon \end{align}$$ $\epsilon$$\text{cov}(P^{-1}\epsilon)=I$ $$\tilde{X}=P^{-1}X,\qquad \tilde{y}=P^{-1}y\quad\text{and}\quad \tilde{\epsilon}=P^{-1}\epsilon.$$ $$\tilde{y}=\tilde{X}\beta+\tilde{\epsilon}$$ $\hat{\beta}$ $$\begin{align} \hat{\beta} &= (\tilde{X}^T\tilde{X})^{-1}\tilde{X}^T\tilde{y}\\ &=((P^{-1}X)^TP^{-1}X)^{-1}(P^{-1}X)^TP^{-1}y\\ &=(X^T(PP^T)^{-1}X)^{-1}X(PP^T)^{-1}y\\ &=(X^TH^{-1}X)^{-1}XH^{-1}y \end{align}$$