Làm thế nào để rút ra ma trận phương sai hiệp phương sai của các hệ số trong hồi quy tuyến tính

Tôi đang đọc một cuốn sách về hồi quy tuyến tính và gặp một số khó khăn khi hiểu ma trận phương sai hiệp phương sai của :$\mathbf{b}$

Các mục chéo là đủ dễ, nhưng các mục chéo thì khó hơn một chút, điều khiến tôi là

$$\sigma(b_0, b_1) = E(b_0 b_1) - E(b_0)E(b_1) = E(b_0 b_1) - \beta_0 \beta_1$$

nhưng không có dấu vết của và tại đây.$\beta_0$$\beta_1$

Đây thực sự là một câu hỏi thú vị thách thức sự hiểu biết cơ bản của bạn về hồi quy.

Đầu tiên đưa ra bất kỳ nhầm lẫn ban đầu về ký hiệu. Chúng tôi đang xem xét hồi quy:

$$y=b_0+b_1x+\hat{u}$$

trong đó và là công cụ ước tính của và và là phần dư của hồi quy. Lưu ý rằng hồi quy đúng và không được giám sát cơ bản được ký hiệu là:$b_0$$b_1$$\beta_0$$\beta_1$u$\hat{u}$

$$y=\beta_0+\beta_1x+u$$

Với kỳ vọng và phương sai . Một số sách biểu thị là và chúng tôi điều chỉnh quy ước này tại đây. Chúng tôi cũng sử dụng ký hiệu ma trận, trong đó b là vectơ 2x1 chứa các công cụ ước tính của , cụ thể là . (Ngoài ra, để rõ ràng, tôi coi X là cố định trong các tính toán sau.)$E[u]=0$$E[u^2]=\sigma^2$$b$β$\hat{\beta}$$\beta=[\beta_0, \beta_1]'$$b=[b_0, b_1]'$

Bây giờ đến câu hỏi của bạn. Công thức của bạn cho hiệp phương sai thực sự chính xác, đó là:

$$\sigma(b_0, b_1) = E(b_0 b_1) - E(b_0)E(b_1) = E(b_0 b_1) - \beta_0 \beta_1$$

Tôi nghĩ rằng bạn muốn biết làm thế nào chúng ta có các hệ số không quan sát thực sự trong công thức này? Họ thực sự bị hủy bỏ nếu chúng ta tiến thêm một bước bằng cách mở rộng công thức. Để thấy điều này, lưu ý rằng phương sai dân số của công cụ ước tính được đưa ra bởi:$\beta_0, \beta_1$

$$Var(\hat\beta)=\sigma^2(X'X)^{-1}$$

Ma trận này giữ các phương sai trong các phần tử đường chéo và hiệp phương sai trong các phần tử đường chéo.

Để đi đến công thức trên, hãy khái quát hóa yêu cầu của bạn bằng cách sử dụng ký hiệu ma trận. Do đó, chúng ta hãy biểu thị phương sai với và kỳ vọng với .$Var[\cdot]$$E[\cdot]$

$$Var[b]=E[b^2]-E[b]E[b']$$

Về cơ bản chúng ta có công thức phương sai chung, chỉ cần sử dụng ký hiệu ma trận. Phương trình giải quyết khi thay thế trong biểu thức chuẩn cho công cụ ước tính . Đồng thời giả sử là một công cụ ước tính không thiên vị. Do đó, chúng tôi có được:$b=(X'X)^{-1}X'y$$E[b]=\beta$

$$E[((X'X)^{-1}X'y)^2] - \underset{2 \times 2}{\beta^2}$$

Lưu ý rằng chúng tôi có ma trận bên phải - 2x2, cụ thể là , nhưng tại thời điểm này bạn có thể đoán được điều gì sẽ xảy ra với thuật ngữ này trong thời gian ngắn.$\beta^2$$bb'$

Thay thế bằng biểu thức của chúng tôi cho quy trình tạo dữ liệu cơ bản thực sự ở trên, chúng tôi có:$y$

$$\begin{align*} E\Big[\Big((X'X)^{-1}X'y\Big)^2\Big] - \beta^2 &= E\Big[\Big((X'X)^{-1}X'(X\beta+u)\Big)^2\Big]-\beta^2 \\ &= E\Big[\Big(\underbrace{(X'X)^{-1}X'X}_{=I}\beta+(X'X)^{-1}X'u\Big)^2\Big]-\beta^2 \\ &= E\Big[\Big(\beta+(X'X)^{-1}X'u\Big)^2\Big]-\beta^2 \\ &= \beta^2+E\Big[\Big(X'X)^{-1}X'u\Big)^2\Big]-\beta^2 \end{align*}$$

kể từ khi . Hơn nữa, thuật ngữ bậc hai hủy bỏ như dự đoán.$E[u]=0$$\beta^2$

Vì vậy, chúng tôi có:

$$Var[b]=((X'X)^{-1}X')^2E[u^2]$$

Theo tuyến tính của kỳ vọng. Lưu ý rằng theo giả định và vì là ma trận đối xứng và do đó giống như chuyển vị của nó. Cuối cùng chúng tôi cũng đến$E[u^2]=\sigma^2$$((X'X)^{-1}X')^2=(X'X)^{-1}X'X(X'X)'^{-1}=(X'X)^{-1}$$X'X$$K\times K$

$$Var[b]=\sigma^2(X'X)^{-1}$$

Bây giờ chúng tôi đã thoát khỏi tất cả các điều khoản . Theo trực giác, phương sai của công cụ ước tính không phụ thuộc vào giá trị của hệ số cơ bản thực sự, vì đây không phải là một biến ngẫu nhiên trên mỗi se. Kết quả là hợp lệ cho tất cả các yếu tố riêng lẻ trong ma trận hiệp phương sai như trong sách, do đó cũng hợp lệ đối với các yếu tố đường chéo cũng như với để hủy bỏ tương ứng. Vấn đề duy nhất là ban đầu bạn đã áp dụng công thức chung cho phương sai không phản ánh sự hủy bỏ này.$\beta$$\beta_0\beta_1$

Cuối cùng, phương sai của các hệ số giảm xuống còn và độc lập với . Nhưng nó có nghĩa gì? (Tôi tin rằng bạn cũng yêu cầu hiểu biết chung hơn về ma trận hiệp phương sai chung)$\sigma^2(X'X)^{-1}$$\beta$

Nhìn vào công thức trong cuốn sách. Nó chỉ đơn giản xác nhận rằng phương sai của công cụ ước tính tăng khi thời hạn lỗi cơ bản thực sự ồn hơn ( tăng), nhưng giảm khi độ lây lan của X tăng. Vì có nhiều quan sát trải rộng xung quanh giá trị thực, cho phép bạn nói chung xây dựng một công cụ ước tính chính xác hơn và do đó gần với . Mặt khác, các thuật ngữ hiệp phương sai trên đường chéo thực tế có liên quan thực tế trong kiểm tra giả thuyết về các giả thuyết chung như . Khác hơn là họ có một chút sai lầm, thực sự. Hy vọng điều này làm rõ tất cả các câu hỏi.$\sigma^2$ β b 0 = b 1 = 0$\beta$$b_0=b_1=0$

Trong trường hợp của bạn, chúng tôi có

$$X'X=\begin{bmatrix}n & \sum X_i\\\sum X_i & \sum X_i^2\end{bmatrix}$$

Đảo ngược ma trận này và bạn sẽ nhận được kết quả mong muốn.

Dường như là các giá trị được dự đoán (giá trị dự kiến). Họ thực hiện chuyển đổi giữa và .$\beta_0 \beta_1$$E(b_0)=\beta_0$$E(b_1)=\beta_1$