Giải pháp phân tích để ước tính hệ số hồi quy tuyến tính

Tôi đang cố gắng để hiểu ký hiệu ma trận, và làm việc với các vectơ và ma trận.

Ngay bây giờ tôi muốn hiểu cách tính vectơ ước tính hệ số trong hồi quy bội được tính toán.$\hat{\beta}$

Phương trình cơ bản dường như là

$$\frac{d}{d\boldsymbol{\beta}} (\boldsymbol{y}-\boldsymbol{X\beta})'(\boldsymbol{y}-\boldsymbol{X\beta}) = 0 \>.$$

Bây giờ tôi sẽ giải quyết một vectơ $\beta$ ở đây như thế nào?

Chỉnh sửa : Đợi đã, tôi bị kẹt. Bây giờ tôi đang ở đây và không biết làm thế nào để tiếp tục:

$\frac{d}{d{\beta}} \left( \left(\begin{smallmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{smallmatrix}\right) - \left(\begin{smallmatrix} 1 & x_{11} & x_{12} & \dots & x_{1p} \\ 1 & x_{21} & x_{22} & \dots & x_{2p} \\ \vdots & & & & \vdots \\ 1 & x_{n1} & x_{n2} & \dots & x_{np} \\ \end{smallmatrix}\right) \left(\begin{smallmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{smallmatrix}\right) \right) ' \left( \left(\begin{smallmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{smallmatrix}\right) - \left(\begin{smallmatrix} 1 & x_{11} & x_{12} & \dots & x_{1p} \\ 1 & x_{21} & x_{22} & \dots & x_{2p} \\ \vdots & & & & \vdots \\ 1 & x_{n1} & x_{n2} & \dots & x_{np} \\ \end{smallmatrix}\right) \left(\begin{smallmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{smallmatrix}\right) \right)$

$\frac{d}{d{\beta}} \sum_{i=1}^n \left( y_i - \begin{pmatrix} 1 & x_{i1} & x_{i2} & \dots & x_{ip} \end{pmatrix} \begin{pmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{pmatrix} \right)^2$

Với cho tất cả là phần chặn:$x_{i0} = 1$$i$

$\frac{d}{d{\beta}} \sum_{i=1}^n \left( y_i - \sum_{k=0}^p x_{ik} \beta_k \right)^2$

Bạn có thể chỉ cho mình hướng chính xác được không?

Chúng ta có

$\frac{d}{d\beta} (y - X \beta)' (y - X\beta) = -2 X' (y - X \beta)$ .

Nó có thể được hiển thị bằng cách viết phương trình rõ ràng với các thành phần. Ví dụ: viết thay vì . Sau đó lấy các dẫn xuất liên quan đến , , ..., và xếp mọi thứ để có câu trả lời. Để minh họa nhanh chóng và dễ dàng, bạn có thể bắt đầu với . β β 1 β 2 β p p = $(\beta_{1}, \ldots, \beta_{p})'$$\beta$$\beta_{1}$$\beta_{2}$$\beta_{p}$$p = 2$

Với kinh nghiệm người ta phát triển các quy tắc chung, một số trong đó được đưa ra, ví dụ, trong tài liệu đó .

Chỉnh sửa để hướng dẫn cho phần bổ sung của câu hỏi

Với , chúng ta có$p = 2$

$(y - X \beta)'(y - X \beta) = (y_1 - x_{11} \beta_1 - x_{12} \beta_2)^2 + (y_2 - x_{21}\beta_1 - x_{22} \beta_2)^2$

Đạo hàm liên quan đến là$\beta_1$

$-2x_{11}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{21}(y_2 - x_{21}\beta_1 - x_{22} \beta_2)$

Tương tự, đạo hàm tương ứng với là$\beta_2$

$-2x_{12}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{22}(y_2 - x_{21}\beta_1 - x_{22} \beta_2)$

Do đó, đạo hàm liên quan đến là$\beta = (\beta_1, \beta_2)'$

$\left( \begin{array}{c} -2x_{11}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{21}(y_2 - x_{21}\beta_1 - x_{22} \beta_2) \\ -2x_{12}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{22}(y_2 - x_{21}\beta_1 - x_{22} \beta_2) \end{array} \right)$

Bây giờ, quan sát bạn có thể viết lại biểu thức cuối cùng như

$-2\left( \begin{array}{cc} x_{11} & x_{21} \\ x_{12} & x_{22} \end{array} \right)\left( \begin{array}{c} y_{1} - x_{11}\beta_{1} - x_{12}\beta_2 \\ y_{2} - x_{21}\beta_{1} - x_{22}\beta_2 \end{array} \right) = -2 X' (y - X \beta)$

Tất nhiên, tất cả mọi thứ được thực hiện theo cùng một cách cho một lớn hơn .$p$

Bạn cũng có thể sử dụng các công thức từ sách dạy nấu ăn Matrix . Chúng ta có

$$(y-X\beta)'(y-X\beta)=y'y-\beta'X'y-y'X\beta+\beta'X'X\beta$$

Bây giờ lấy đạo hàm của mỗi thuật ngữ. Bạn có thể muốn nhận thấy rằng . Đạo hàm của thuật ngữ đối với là zero. Nhiệm kỳ còn lạiy ' y $\beta'X'y=y'X\beta$$y'y$$\beta$

$$\beta'X'X\beta-2y'X\beta$$

là hình thức của chức năng

$$f(x)=x'Ax+b'x,$$

trong công thức (88) trong cuốn sách ở trang 11, với , và . Đạo hàm được đưa ra trong công thức (89):A = X ′$x=\beta$$A=X'X$$b=-2X'y$

$$\frac{\partial f}{\partial x}=(A+A')x+b$$

vì thế

$$\frac{\partial}{\partial \beta}(y-X\beta)'(y-X\beta)=(X'X+(X'X)')\beta-2X'y$$

Bây giờ kể từ chúng tôi có được giải pháp mong muốn:$(X'X)'=X'X$

$$X'X\beta=X'y$$

Dưới đây là một kỹ thuật để giảm thiểu tổng bình phương trong hồi quy thực sự có các ứng dụng cho các cài đặt chung hơn và tôi thấy hữu ích.

Chúng ta hãy cố gắng tránh tính toán ma trận vector hoàn toàn.

Giả sử chúng tôi quan tâm đến việc giảm thiểu trong đó , và . Chúng tôi giả sử cho đơn giản rằng và .Y ∈ R n X ∈ R n × p beta ∈ R p p ≤ n r một n k ( X ) =

$$\newcommand{\err}{\mathcal{E}}\newcommand{\my}{\mathbf{y}}\newcommand{\mX}{\mathbf{X}}\newcommand{\bhat}{\hat{\beta}}\newcommand{\reals}{\mathbb{R}} \err = (\my - \mX \beta)^T (\my - \mX \beta) = \|\my - \mX \beta\|_2^2 \> ,$$ $\my \in \reals^n$$\mX \in \reals^{n\times p}$$\beta \in \reals^p$$p \leq n$$\mathrm{rank}(\mX) = p$

Đối với mọi , chúng tôi nhận được E=‖y-X β +X β -Xβ‖ 2 2 =‖y-X β ‖ 2 2 +‖X(β - β )‖ 2 2 -2(β- β )TXT(y-$\bhat \in \reals^p$

$$\err = \|\my - \mX \bhat + \mX \bhat - \mX \beta\|_2^2 = \|\my - \mX \bhat\|_2^2 + \|\mX(\beta-\bhat)\|_2^2 - 2(\beta - \bhat)^T \mX^T (\my - \mX \bhat) \>.$$

Nếu chúng ta có thể chọn (tìm!) Một vectơ sao cho thuật ngữ cuối cùng ở phía bên phải là 0 cho mọi , thì chúng ta sẽ hoàn thành, vì điều đó có nghĩa là . βphútβE≥‖y-X β ‖ 2 $\bhat$ $\beta$$\min_\beta \err \geq \|\my - \mX \bhat\|_2^2$

Nhưng, cho tất cả khi và chỉ khi và phương trình cuối cùng này là đúng khi và chỉ khi . Vì vậy, được giảm thiểu bằng cách lấy .β X T ( y - X β ) = 0 X T X β = X T y E β = ( X T X ) - 1 X T $(\beta - \bhat)^T \mX^T (\my - \mX \bhat) = 0$$\beta$$\mX^T (\my - \mX \bhat) = 0$$\mX^T \mX \bhat = \mX^T \my$$\err$$\bhat = (\mX^T \mX)^{-1} \mX^T \my$

---

Mặc dù điều này có vẻ giống như một "mẹo" để tránh tính toán, nhưng nó thực sự có ứng dụng rộng hơn và có một số hình học thú vị khi chơi.

Một ví dụ mà kỹ thuật này làm cho một derivation nhiều đơn giản hơn so với bất kỳ phương pháp tính toán ma trận vector là khi chúng ta khái quát cho trường hợp ma trận. Hãy để , và . Giả sử chúng tôi muốn giảm thiểu trên toàn bộ ma trận của các tham số . Ở đây là một ma trận hiệp phương sai. X ∈ R n × q B ∈ R q × p E = t r ( ( Y - X B ) Σ - 1 ( Y - X B ) T ) B$\newcommand{\mY}{\mathbf{Y}}\newcommand{\mB}{\mathbf{B}}\mY \in \reals^{n \times p}$$\mX \in \reals^{n \times q}$$\mB \in \reals^{q \times p}$

$$\err = \mathrm{tr}( (\mY - \mX \mB) \Sigma^{-1} (\mY - \mX \mB)^T )$$ $\mB$$\Sigma$

Một cách tiếp cận hoàn toàn tương tự như trên nhanh chóng xác định rằng mức tối thiểu của đạt được bằng cách lấy Đó là, trong một khung cảnh hồi quy nơi đáp ứng là một vector với hiệp phương sai và các quan sát độc lập, sau đó ước tính OLS là đạt được bằng cách làm hồi quy tuyến tính riêng về các thành phần của câu trả lời.B = ( X T X ) - 1 X T $\err$Σ

$$\hat{\mB} = (\mX^T \mX)^{-1} \mX^T \mY \>.$$ $\Sigma$$p$

Một cách có thể giúp bạn hiểu là không sử dụng đại số ma trận và phân biệt từng khía cạnh cho từng thành phần và sau đó "lưu trữ" kết quả trong một vectơ cột. Vì vậy chúng tôi có:

$$\frac{\partial}{\partial \beta_{k}}\sum_{i=1}^{N}\left(Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right)^{2}=0$$

Bây giờ bạn có của các phương trình này, một cho mỗi beta. Đây là một ứng dụng đơn giản của quy tắc chuỗi:$p$

$$\sum_{i=1}^{N}2\left(Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right)^{1}\left(\frac{\partial}{\partial \beta_{k}}\left[Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right]\right)=0$$ $$-2\sum_{i=1}^{N}X_{ik}\left(Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right)=0$$

Bây giờ chúng ta có thể viết lại tổng bên trong dấu ngoặc là Vì vậy, bạn nhận được:$\sum_{j=1}^{p}X_{ij}\beta_{j}=\bf{x}_{i}^{T}\boldsymbol{\beta}$

$$\sum_{i=1}^{N}X_{ik}Y_{i}-\sum_{i=1}^{N}X_{ik}\bf{x}_{i}^{T}\boldsymbol{\beta}=0$$

Bây giờ chúng ta có của các phương trình này và chúng ta sẽ "xếp chúng" trong một vectơ cột. Lưu ý cách là thuật ngữ duy nhất phụ thuộc vào , vì vậy chúng ta có thể xếp chồng nó vào vectơ và chúng ta nhận được:$p$$X_{ik}$$k$$\bf{x}_{i}$

$$\sum_{i=1}^{N}\bf{x}_{i}\rm{Y}_{i}=\sum_{i=1}^{N}\bf{x}_{i}\bf{x}_{i}^{T}\boldsymbol{\beta}$$

Bây giờ chúng ta có thể lấy bản beta bên ngoài tổng (nhưng phải ở trên RHS của tổng), và sau đó thực hiện invervse:

$$\left(\sum_{i=1}^{N}\bf{x}_{i}\bf{x}_{i}^{T}\right)^{-1}\sum_{i=1}^{N}\bf{x}_{i}\rm{Y}_{i}=\boldsymbol{\beta}$$