Chuyển đổi hệ số beta từ ma trận sang ký hiệu vô hướng trong hồi quy OLS

Tôi đã tìm thấy trong các bài kiểm tra kinh tế lượng của mình rằng nếu tôi quên ký hiệu vô hướng, tôi thường có thể tự cứu mình bằng cách nhớ ký hiệu ma trận và làm việc ngược lại. Tuy nhiên, những điều sau đây làm tôi bối rối.

Ước tính đơn giản

$$\hat{y_i} = \hat{\beta_0} + \hat{\beta_1}x_{i1}$$

Làm thế nào để chúng ta nhận được từ

$$\boldsymbol{\hat{\beta}} = \boldsymbol{(X'X)}^{-1}\boldsymbol{X'y}$$

đến

$$\hat{\beta}_1 = \frac{\sum_{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{\sum_{i=1}^n(x_i-\bar{x})^2}$$

Tôi bị kẹt tại

$$\hat{\beta}_1 = \frac{\sum_{i=1}^nx_iy_i}{\sum_{i=1}^nx_i^2}$$

Giải pháp

Đại số ma trận có thể mất tinh thần và, nếu không được thực hiện một cách tao nhã, có thể đòi hỏi rất nhiều thao tác đại số (không cần thiết). Tuy nhiên, tình huống đơn giản hơn nhiều so với vẻ ngoài của nó, bởi vì (tạo ma trận bằng cách đặt một cột của các cột đầu tiên và sau đó là cột của các giá trị độc lập sau nó)$X$$(x_i)$

$$X^\prime X = \pmatrix{n & S_x \\ S_x & S_{xx}}$$

và

$$X^\prime y = \pmatrix{S_y & S_{xy}}$$

(Chữ rất tiện dụng - và khá phổ biến - viết tắt cho tổng của các biến và sản phẩm của chúng). Do đó, các phương trình bình thường cho các ước tính là - khi được viết ra dưới dạng phương trình tuyến tính đồng thời - chỉ đơn thuần là$S_{*}$$\hat\beta = (\hat\beta_0, \hat\beta_1)$

$$\matrix{n \hat\beta_0 + S_x\hat\beta_1 = S_y \\ S_x \hat\beta_0 + S_{xx}\hat\beta_1 = S_{xy},}$$

sẽ được giải quyết cho và Thật vậy, bạn không thực sự cần phải giải quyết vấn đề này : tất cả những gì bạn phải làm vào thời điểm này là kiểm tra xem công thức nào cho thực sự hoạt động. Điều đó chỉ yêu cầu đại số tiểu học. Tôi sẽ không thể hiện điều đó bởi vì có một cách tốt hơn tạo ra kết quả tương tự theo cách thức sáng sủa và khái quát hơn nhiều.$\hat\beta_0$$\hat\beta_1.$$\hat \beta_1$

---

Động lực và khái quát hóa

Hãy nhớ lại rằng các phương trình bình thường có được bằng cách xem xét vấn đề tối thiểu hóa tổng bình phương của phần dư,

$$\operatorname{SSR} = \sum_i \left(y_i - (\beta_0 + \beta_1 x_i)\right)^2.$$

Sự xuất hiện của tương ứng với một cột của những người thân trong trong khi sự xuất hiện của tương ứng với một cột trong . Nói chung, các cột đó không trực giao. (Nhắc lại rằng chúng ta nói hai vectơ là trực giao khi sản phẩm chấm của chúng bằng không. Về mặt hình học, điều này có nghĩa là chúng vuông góc. Xem các tài liệu tham khảo để biết thêm về điều này.) Chúng ta có thể làm cho chúng trực giao bằng cách trừ một số bội số của chúng với nhau. Lựa chọn dễ nhất là trừ một hằng số từ mỗi để tạo kết quả trực giao với cột không đổi; có nghĩa là, chúng ta tìm kiếm một số mà$\beta_0$$X$$\beta_1$$(x_i)$$X$$x_i$$c$

$$0 = (1,1,\ldots, 1) \cdot (x_1-c, x_2-c, \ldots, x_n-c) = \sum_{i} (1(x_i-c)) = Sx - nc.$$

Giải pháp duy nhất rõ ràng là giá trị trung bình của Theo đó, hãy viết lại mô hình theo các biến "chính giữa" Nó yêu cầu chúng tôi giảm thiểu$c = Sx/n = \bar x,$$x_i.$$x_i-\bar x.$

$$\operatorname{SSR} = \sum_i \left(y_i - (\beta_0 + \beta_1\bar x + \beta_1 (x_i-\bar x))\right)^2.$$

Để đơn giản, hãy viết thuật ngữ không đổi không xác định là

$$\alpha = \beta_0 + \beta_1 \bar x,$$

hiểu rằng một khi đã có giải pháp và , chúng tôi dễ dàng tìm thấy ước tính$\hat\alpha$$\hat\beta_1$

$$\hat\beta_0 = \hat\alpha - \hat\beta_1\bar x.$$

Xét về các ẩn số các phương trình Bình thường hiện nay$(\hat\alpha,\hat\beta_1)$

$$\pmatrix{n & 0 \\ 0 & \sum_i(x_i-\bar x)^2}\pmatrix{\hat\alpha\\\hat\beta_1}=\pmatrix{Sy \\ \sum_i (x_i-\bar x)y_i}.$$

Khi được viết thành hai phương trình tuyến tính đồng thời, mỗi ẩn số được tách ra trong phương trình riêng của nó, điều này rất đơn giản để giải quyết: đây là những gì có các cột trực giao trong đạt được. $X$ Cụ thể, phương trình của là$\hat\beta_1$

$$\sum_i(x_i-\bar x)^2\ \hat\beta_1 = \sum_i (x_i-\bar x)y_i.$$

Đây là một bước đại số ngắn và đơn giản từ kết quả này đến kết quả mong muốn. (Sử dụng thực tế là )$\sum_i (x_i-\bar x)\bar y = 0.$

Việc tổng quát hóa cho nhiều biến tiến hành theo cùng một cách: ở bước đầu tiên, trừ các bội số phù hợp của cột đầu tiên của từ mỗi cột khác sao cho tất cả các cột kết quả là trực giao với cột đầu tiên. (Nhắc lại điều này để giải phương trình tuyến tính cho một hằng số chưa biết rất dễ.) Lặp lại bằng cách trừ các bội số phù hợp của giây$X$$c,$cột từ các cột thứ ba, mới, thứ tư, ..., v.v. để làm cho chúng trực giao với hai cột đầu tiên cùng một lúc. Tiếp tục "quét" các cột theo kiểu này cho đến khi chúng trực giao lẫn nhau. Các phương trình bình thường kết quả sẽ liên quan đến nhiều nhất một biến tại một thời điểm và do đó rất đơn giản để giải. Cuối cùng, các giải pháp phải được chuyển đổi trở lại các biến ban đầu (giống như bạn phải chuyển đổi các ước tính và thành ước tính trong trường hợp hồi quy thông thường). Ở mỗi bước, tất cả những gì bạn đang làm là tạo ra các phương trình mới từ các phương trình cũ và giải một biến duy nhất tại một thời điểm.$\hat\alpha$$\hat\beta_1$$\hat\beta_0$

---

Người giới thiệu

Để biết một tài khoản chính thức hơn về cách tiếp cận này để giải các phương trình bình thường, xem phần trực giao hóa Gram-Schmidt .

Việc sử dụng nó trong hồi quy bội được Lynne Lamotte thảo luận trong Công trình xây dựng Gram-Schmidt như là một cơ sở cho các mô hình tuyến tính , Thống kê người Mỹ 68 (1), tháng 2 năm 2014.

Để xem cách tìm chỉ một ước tính hệ số duy nhất mà không phải tính toán các hệ số khác, hãy xem phân tích tại https://stats.stackexchange.com/a/166718/919 .

Để giải thích hình học, hãy xem câu trả lời của tôi tại https://stats.stackexchange.com/a/97881/919 , https://stats.stackexchange.com/a/113207/919 ,

Nếu bạn hồi quy theo hằng số và , ma trận của bạn là Do đó, và Bạn có thể lấy nó từ đây không?$x_i$$X$

$$\begin{pmatrix}1 &x_1\\ \vdots&\vdots\\1 &x_n \end{pmatrix}$$ $$X'X=\begin{pmatrix}n &\sum_ix_i\\ \sum_ix_i&\sum_ix_i^2\\ \end{pmatrix}$$ $$(X'X)^{-1}=\frac{1}{n\sum_ix_i^2-(\sum_ix_i)^2} \begin{pmatrix}\sum_ix_i^2 &-\sum_ix_i\\ -\sum_ix_i&n\\ \end{pmatrix}$$

Đối với bất kỳ ai khác ngoài đó có thể đang vật lộn với điều này, tôi đã viết tất cả ra bên dưới từng bước một.

Giả sử để dễ giải thích, chúng ta có một mẫu tối thiểu là 1 biến ( ) và chỉ có 2 quan sát ( ); Ước tính của chúng tôi theo vô hướng là$x$$k=1$$n=2$$\hat{y_i} = \hat{\beta_0}+\hat{\beta_1}x_i$

$$\begin{equation*} \boldsymbol{\hat{\beta}}=\begin{pmatrix} \hat{\beta_0} \\ \hat{\beta_1} \end{pmatrix} \end{equation*}$$

$$\begin{equation*} \boldsymbol{y}=\begin{pmatrix} y_i \\ y_i \end{pmatrix} \end{equation*}$$

$$\begin{equation*} \boldsymbol{X}=\begin{pmatrix} 1 & x_i \\ 1& x_i \end{pmatrix} \end{equation*}$$

vì thế

$$\begin{equation*} \boldsymbol{X'}=\begin{pmatrix} 1 & 1 \\ x_i & x_i \end{pmatrix} \end{equation*}$$

và;

$$\begin{equation*} \boldsymbol{X'X}=\begin{pmatrix} n & \sum_{i=1}^nx_i \\ \sum_{i=1}^nx_i & \sum_{i=1}^nx_i^2 \end{pmatrix} \end{equation*}$$

Hãy nhớ các quy tắc của \ textbf {ma trận nghịch đảo}, trong đó det [.] = Hệ số xác định của ma trận và adj [.] = Phép bổ trợ (đôi khi được gọi là adjoint) của ma trận.;

$$\begin{equation*} \boldsymbol{(X'X)^{-1}}= \frac{1}{\textrm{det[$\boldsymbol{X'X}$]}}\times \textrm{adj[$X'X$]} \\ \end{equation*}$$ $$\begin{equation*} \textrm{det[$\boldsymbol{X'X}$]}= \frac{1}{ad-bc}= \frac{1}{n\sum_{i=1}^nx_i^2-(\sum_{i=1}^nx_i)^2} \end{equation*}$$ $$\begin{equation*} \textrm{adj[$\boldsymbol{X'X}$]} = \begin{pmatrix} d & -b \\ -c & a \end{pmatrix} =\begin{pmatrix} \sum_{i=1}^nx_i^2 & -\sum_{i=1}^nx_i \\ -\sum_{i=1}^nx_i & n \end{pmatrix} \end{equation*}$$

vì thế

$$\begin{equation} \boldsymbol{(X'X)^{-1}}=\frac{1}{\textrm{det[$\boldsymbol{X'X}$]}}\times \textrm{adj[$X'X$]} = \begin{pmatrix} \frac{\sum_{i=1}^nx_i^2}{n\sum_{i=1}^nx_i^2-(\sum_{i=1}^nx_i)^2} & \frac{-\sum_{i=1}^nx_i}{n\sum_{i=1}^nx_i^2-(\sum_{i=1}^nx_i)^2} \\ \frac{-\sum_{i=1}^nx_i}{n\sum_{i=1}^nx_i^2-(\sum_{i=1}^nx_i)^2} & \frac{n}{n\sum_{i=1}^nx_i^2-(\sum_{i=1}^nx_i)^2} \end{pmatrix} \end{equation}$$

$$\begin{equation*} \boldsymbol{X'y}=\begin{pmatrix} 1 & 1 \\ x_i & x_i \end{pmatrix} \times \begin{pmatrix} y_i \\ y_i \end{pmatrix} = \begin{pmatrix} \sum_{i=1}^ny_i \\ \sum_{i=1}^nx_iy_i \end{pmatrix} \end{equation*}$$

vì thế

$$\begin{align*} \boldsymbol{\hat{\beta}} & =\boldsymbol{(X'X)^{-1}}\boldsymbol{X'y}\\ \begin{pmatrix} \hat{\beta_0} \\ \hat{\beta_1} \end{pmatrix} & = \begin{pmatrix} \frac{\sum_{i=1}^nx_i^2}{n\sum_{i=1}^nx_i^2-(\sum_{i=1}^nx_i)^2} & \frac{-\sum_{i=1}^nx_i}{n\sum_{i=1}^nx_i^2-(\sum_{i=1}^nx_i)^2} \\ \frac{-\sum_{i=1}^nx_i}{n\sum_{i=1}^nx_i^2-(\sum_{i=1}^nx_i)^2} & \frac{n}{n\sum_{i=1}^nx_i^2-(\sum_{i=1}^nx_i)^2} \end{pmatrix} \times \begin{pmatrix} \sum_{i=1}^ny_i \\ \sum_{i=1}^nx_iy_i \end{pmatrix} \end{align*}$$

$$\begin{align*} \hat{\beta_1} & =\frac{-\sum_{i=1}^nx_i \times \sum_{i=1}^ny_i}{n\sum_{i=1}^nx_i^2-(\sum_{i=1}^nx_i)^2} + \frac{n \times \sum_{i=1}^nx_iy_i}{n\sum_{i=1}^nx_i^2-(\sum_{i=1}^nx_i)^2} \\ % \hat{\beta_1} & =\frac{n\sum_{i=1}^nx_iy_i - \sum_{i=1}^nx_i\sum_{i=1}^ny_i}{n\sum_{i=1}^nx_i^2-(\sum_{i=1}^nx_i)^2} \\ \end{align*}$$ Ghi nhớ , do đó (tương tự cho ); % $\frac{1}{n}\sum_{i=1}^nx_i = \bar{x}$$\sum_{i=1}^nx_i = n\bar{x}$$y_i$ $$\begin{align*} \hat{\beta_1} & =\frac{n\sum_{i=1}^nx_iy_i - n\bar{x}n\bar{y}}{n\sum_{i=1}^nx_i^2-(n\bar{x})^2} \\ \hat{\beta_1} & =\frac{n\sum_{i=1}^nx_iy_i - n^2\bar{x}\bar{y}}{n\sum_{i=1}^nx_i^2-n^2(\bar{x})^2} \\ \textrm{Dividing by $n$;} \\ \hat{\beta_1} & =\frac{\sum_{i=1}^nx_iy_i - n\bar{x}\bar{y}}{\sum_{i=1}^nx_i^2-n(\bar{x})^2} \\ \end{align*}$$ $$\begin{equation} \hat{\beta_1} = \frac{\sum_{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{\sum_{i=1}^n(x_i-\bar{x})^2} \end{equation}$$