Trực giác phía sau ở dạng đóng của w trong Hồi quy tuyến tính

Dạng đóng của w trong hồi quy tuyến tính có thể được viết là

$\hat{w}=(X^TX)^{-1}X^Ty$

Làm thế nào chúng ta có thể giải thích bằng trực giác vai trò của trong phương trình này?$(X^TX)^{-1}$

Tôi thấy những bài viết này đặc biệt hữu ích:

Làm thế nào để lấy công cụ ước lượng bình phương nhỏ nhất cho hồi quy tuyến tính bội?

Mối quan hệ giữa SVD và PCA. Làm thế nào để sử dụng SVD để thực hiện PCA?

http://www.math.miami.edu/~armstrong/210sp13/HW7notes.pdf

Nếu là một ma trận sau đó ma trận định nghĩa một chiếu vào không gian cột của . Theo trực giác, bạn có một hệ phương trình quá hạn, nhưng vẫn muốn sử dụng nó để xác định bản đồ tuyến tính sẽ ánh xạ các hàng của thành một giá trị gần với giá trị , . Vì vậy, chúng tôi giải quyết việc gửi đến điều gần nhất với có thể được biểu thị dưới dạng kết hợp tuyến tính các tính năng của bạn (các cột của ). n × p X ( X T X ) - 1 X T X R p → R x i X y i i ∈ { 1 , ... , n } X y $X$$n \times p$$X(X^TX)^{-1}X^T$$X$$\mathbb{R}^p \rightarrow \mathbb{R}$$x_i$$X$$y_i$$i\in \{1,\dots,n\}$$X$$y$$X$

Theo như cách giải thích của , tôi chưa có câu trả lời tuyệt vời nào. Tôi biết bạn có thể nghĩ về về cơ bản là ma trận hiệp phương sai của tập dữ liệu. ( X T X $(X^TX)^{-1}$$(X^TX)$

Quan điểm hình học

Một quan điểm hình học có thể giống như các vectơ n chiều và là điểm trong n-chiều-không gian . Trong đó cũng nằm trong không gian con kéo dài bởi các vectơ .X β V X β W x 1 , x 2 , ⋯ , x $y$$X\beta$$V$$X\hat\beta$$W$$x_1, x_2, \cdots, x_m$

Hai loại tọa độ

Đối với không gian con chúng ta có thể tưởng tượng hai loại tọa độ khác nhau :$W$

• Các$\boldsymbol{\beta}$ giống như tọa độ cho một không gian thường xuyên phối hợp. Vectơ trong không gian là tổ hợp tuyến tính của vectơW x i z = β 1 x 1 + β 2 x 1 + . . . . β m x $z$$W$$\mathbf{x_i}$ $$z = \boldsymbol{\beta_1} \mathbf{x_1} + \boldsymbol{\beta_2} \mathbf{x_1} + .... \boldsymbol{\beta_m} \mathbf{x_m}$$

• Các$\boldsymbol{\alpha}$ không phải là tọa độ theo nghĩa thông thường, nhưng họ làm xác định một điểm trong không gian con . Mỗi liên quan đến các hình chiếu vuông góc lên các vectơ . Nếu chúng ta sử dụng vectơ đơn vị (để đơn giản) thì "tọa độ" cho vectơ có thể được biểu thị là:α i x i x i α i$W$$\alpha_i$$x_i$$x_i$$\alpha_i$$z$

  $$\alpha_i = \mathbf{x_i^T} \mathbf{z}$$

  và tập hợp tất cả các tọa độ là:

Ánh xạ giữa tọa độ và$\boldsymbol{\alpha}$$\boldsymbol{\beta}$

for biểu thức của "tọa độ" trở thành một chuyển đổi từ tọa độ sang "tọa độ"alpha beta $\mathbf{z} = \mathbf{X}\boldsymbol{\beta}$$\alpha$$\beta$$\alpha$

Bạn có thể thấy như thể hiện số lượng mỗi dự án trên khác x i x $(\mathbf{X^T} \mathbf{X})_{ij}$$x_i$$x_j$

Sau đó, có thể xem cách giải thích hình học của dưới dạng bản đồ từ phép chiếu vector "tọa độ" sang tọa độ tuyến tính . alpha $(\mathbf{X^T} \mathbf{X})^{-1}$$\boldsymbol{\alpha}$$\boldsymbol{\beta}$

Biểu thức đưa ra "tọa độ" của và biến chúng thành .y ( X T X ) - 1$\mathbf{X^Ty}$$\mathbf{y}$$(\mathbf{X^T} \mathbf{X})^{-1}$$\boldsymbol{\beta}$

Lưu ý : phép chiếu "tọa độ" của giống như phép chiếu "tọa độ" của kể từ .y ( y - y ) ⊥ $\mathbf{y}$ $\mathbf{\hat{y}}$$(\mathbf{y-\hat{y}}) \perp \mathbf{X}$

Giả sử bạn đã quen thuộc với hồi quy tuyến tính đơn giản: và giải pháp của nó : β = c o v [ x i , y i

Thật dễ dàng để xem làm thế nào tương ứng với tử số ở trên và bản đồ để mẫu số. Vì chúng ta đang xử lý ma trận nên thứ tự là vấn đề. là KxK ma trận, và là Kx1 vector. Do đó, thứ tự là:X ′ X X ′ X X ′ y ( X ′ X ) - 1 X ′$X'y$$X'X$$X'X$$X'y$$(X'X)^{-1}X'y$