Làm thế nào để lấy công cụ ước lượng bình phương nhỏ nhất cho hồi quy tuyến tính bội?

Trong đơn giản tuyến tính trường hợp hồi quy $y=\beta_0+\beta_1x$ , bạn có thể lấy được các ước lượng bình phương tối thiểu β 1 = Σ ( x i - ˉ x ) ( y i - ˉ y )$\hat\beta_1=\frac{\sum(x_i-\bar x)(y_i-\bar y)}{\sum(x_i-\bar x)^2}$ như vậy mà bạn không cần phải biết β 0để ước lượng β 1$\hat\beta_0$$\hat\beta_1$

Giả sử tôi có $y=\beta_1x_1+\beta_2x_2$ , làm thế nào để lấy được β 1 mà không ước lượng β 2 ? hoặc điều này là không thể?$\hat\beta_1$$\hat\beta_2$

Đạo hàm trong ký hiệu ma trận

Bắt đầu từ $y= Xb +\epsilon$ , mà thực sự chỉ là giống như

$\begin{bmatrix} y_{1} \\ y_{2} \\ \vdots \\ y_{N} \end{bmatrix} = \begin{bmatrix} x_{11} & x_{12} & \cdots & x_{1K} \\ x_{21} & x_{22} & \cdots & x_{2K} \\ \vdots & \ddots & \ddots & \vdots \\ x_{N1} & x_{N2} & \cdots & x_{NK} \end{bmatrix} * \begin{bmatrix} b_{1} \\ b_{2} \\ \vdots \\ b_{K} \end{bmatrix} + \begin{bmatrix} \epsilon_{1} \\ \epsilon_{2} \\ \vdots \\ \epsilon_{N} \end{bmatrix}$

tất cả đi xuống để giảm thiểu :$e'e$

$\epsilon'\epsilon = \begin{bmatrix} e_{1} & e_{2} & \cdots & e_{N} \\ \end{bmatrix} \begin{bmatrix} e_{1} \\ e_{2} \\ \vdots \\ e_{N} \end{bmatrix} = \sum_{i=1}^{N}e_{i}^{2}$

Vì vậy, giảm thiểu cho chúng ta:$e'e'$

e ′ e = ( y - X b ) ′ ( y - X b $min_{b}$ $e'e = (y-Xb)'(y-Xb)$

e ′ e = y ′ y - 2 b ′ X ′ y + b ′ X ′ X $min_{b}$ $e'e = y'y - 2b'X'y + b'X'Xb$

$\frac{\partial(e'e)}{\partial b} = -2X'y + 2X'Xb \stackrel{!}{=} 0$

$X'Xb=X'y$

$b=(X'X)^{-1}X'y$

Một điều toán học cuối cùng, điều kiện bậc hai ở mức tối thiểu đòi hỏi ma trận là xác định dương. Yêu cầu này được đáp ứng trong trường hợp X có thứ hạng đầy đủ.$X'X$$X$

Đạo hàm chính xác hơn bao gồm tất cả các bước trong phòng lớn hơn có thể được tìm thấy trong http: // ec economtheoryblog.com/2015/02/19/ols_estimator/

Có thể ước tính chỉ một hệ số trong hồi quy bội mà không ước tính các hệ số khác.

$\beta_1$$x_2$$y$$x_1$

---

Trong trường hợp hiện tại , hồi quy bội có thể được thực hiện bằng ba bước hồi quy thông thường:

1. $y$$x_2$$y = \alpha_{y,2}x_2 + \delta$

   $$\alpha_{y,2} = \frac{\sum_i y_i x_{2i}}{\sum_i x_{2i}^2}.$$ $$\delta = y - \alpha_{y,2}x_2.$$ $\delta$$y$$x_2$

2. $x_1$$x_2$$x_1 = \alpha_{1,2}x_2 + \gamma$

   $$\alpha_{1,2} = \frac{\sum_i x_{1i} x_{2i}}{\sum_i x_{2i}^2}.$$ $$\gamma = x_1 - \alpha_{1,2}x_2.$$ $\gamma$$x_1$$x_2$

3. $\delta$$\gamma$

   $$\hat\beta_1 = \frac{\sum_i \delta_i \gamma_i}{\sum_i \gamma_i^2}.$$ $\delta = \hat\beta_1 \gamma + \varepsilon$$\hat\beta_1$$\delta$$y$$x_2$$\gamma$$x_1$$x_2$

$\beta_2$$\hat\beta_0$$\hat\beta_1$$\varepsilon$$y$$x_1$$x_2$

$x_2$

$\hat\beta_1$$y$$x_1$$y$

$\beta$$\beta$$Y_i$$X_{ki}$

$(\beta_0, \beta_1, ...,\beta_k)$

$$Y_i = \beta_0+\beta_1X_{1i}+...+\beta_kX_{ki}+\epsilon_i$$

$\epsilon_i \overset{iid}{\sim} N(0,\sigma^2)$$i=1,...,n$$\mathbf{X}$$n\times k$$n$$k^{th}$$X_k$$\boldsymbol{\hat{\beta}}=(\hat{\beta}_0, \hat{\beta}_1, ..., \hat{\beta}_k)$ , đó là

$$\boldsymbol{\hat{\beta}}=(\mathbf{X}^\prime \mathbf{X})^{-1}\mathbf{X}^\prime \mathbf{Y}$$

giả sử rằng tồn tại nghịch đảo . Các hệ số ước tính là các chức năng của dữ liệu, không phải là các hệ số ước tính khác.$(\mathbf{X}^\prime \mathbf{X})^{-1}$

Một lưu ý nhỏ về lý thuyết so với thực hành. Về mặt toán học có thể được ước tính bằng công thức sau:$\beta_0, \beta_1, \beta_2 ... \beta_n$

$$\hat{\beta} = (X'X)^{-1} X'Y$$

Trong đó là dữ liệu đầu vào ban đầu và là biến mà chúng tôi muốn ước tính. Điều này sau khi giảm thiểu lỗi. Tôi sẽ chứng minh điều này trước khi đưa ra một điểm thực tế nhỏ.$X$$Y$

Đặt là lỗi hồi quy tuyến tính tạo ra tại điểm . Sau đó:$e_i$$i$

$$e_i = y_i - \hat{y_i}$$

Tổng số lỗi bình phương chúng tôi thực hiện là:

$$\sum_{i=1}^n e_i^2 = \sum_{i=1}^n (y_i - \hat{y_i})^2$$

Bởi vì chúng tôi có một mô hình tuyến tính, chúng tôi biết rằng:

$$\hat{y_i} = \beta_0 + \beta_1 x_{1,i} + \beta_2 x_{2,i} + ... + \beta_n x_{n,i}$$

Mà có thể được viết lại trong ký hiệu ma trận như:

$$\hat{Y} = X\beta$$

Chúng ta biết rằng

$$\sum_{i=1}^n e_i^2 = E'E$$

Chúng tôi muốn giảm thiểu tổng lỗi vuông, sao cho biểu thức sau phải càng nhỏ càng tốt

$$E'E = (Y-\hat{Y})' (Y-\hat{Y})$$

Điều này tương đương với:

$$E'E = (Y-X\beta)' (Y-X\beta)$$

Việc viết lại có vẻ khó hiểu nhưng nó xuất phát từ đại số tuyến tính. Lưu ý rằng các ma trận hoạt động tương tự như các biến khi chúng ta nhân chúng trong một số liên quan.

Chúng tôi muốn tìm các giá trị của sao cho biểu thức này càng nhỏ càng tốt. Chúng ta sẽ cần phân biệt và đặt đạo hàm bằng 0. Chúng tôi sử dụng quy tắc chuỗi ở đây.$\beta$

$$\frac{dE'E}{d\beta} = - 2 X'Y + 2 X'X\beta = 0$$

Điều này mang lại:

$$X'X\beta = X'Y$$

Cuối cùng cũng vậy:

$$\beta = (X'X)^{-1} X'Y$$

Về mặt toán học, chúng ta dường như đã tìm ra một giải pháp. Tuy nhiên, có một vấn đề và đó là rất khó tính nếu ma trận rất lớn. Điều này có thể cung cấp cho các vấn đề chính xác số. Một cách khác để tìm các giá trị tối ưu cho trong tình huống này là sử dụng loại phương thức giảm độ dốc. Hàm mà chúng ta muốn tối ưu hóa là không giới hạn và lồi, vì vậy chúng ta cũng sẽ sử dụng một phương thức gradient trong thực tế nếu cần. $(X'X)^{-1}$$X$$\beta$

Một dẫn xuất đơn giản có thể được thực hiện chỉ bằng cách sử dụng giải thích hình học của LR.

Hồi quy tuyến tính có thể được hiểu như là sự phóng chiếu của vào không gian cột . Như vậy, lỗi, là trực giao với không gian cột của . $Y$$X$$\hat{\epsilon}$$X$

Do đó, sản phẩm bên trong giữa và lỗi phải là 0, nghĩa là $X'$

$<X', y-X\hat{\beta}> = 0$

$X'y - X'X\hat{\beta} = 0$

$X'y = X'X\hat{\beta}$

Ngụ ý rằng,

$(X'X)^{-1}X'y = \hat{\beta}$ .

Bây giờ điều tương tự có thể được thực hiện bởi:

(1) Chiếu lên (lỗi ), ,$Y$$X_2$$\delta = Y-X_2 \hat{D}$$\hat{D} = (X_2'X_2)^{-1}X_2'y$

(2) Chiếu lên (lỗi ), ,X 2 γ = X 1 - X 2 G G = ( X ' 1 X 1 ) - 1 X 1 X $X_1$$X_2$$\gamma = X_1 - X_2 \hat{G}$$\hat{G} = (X_1'X_1)^{-1}X_1X_2$

và cuối cùng,

(3) Chiếu lên ,gamma beta$\delta$$\gamma$$\hat{\beta}_1$