Tại sao dấu vết của là trong hồi quy bình phương nhỏ nhất khi vectơ tham số có kích thước p?

Trong mô hình , chúng tôi có thể ước tính bằng phương trình bình thường.${y} = X \beta + \epsilon$$\beta$

y =X β

$$\hat{\beta} = (X'X)^{-1}X'y,$$ và chúng tôi có thể nhận được $$\hat{y} = X \hat{\beta}.$$

Vectơ của phần dư được ước tính bởi

$$\hat{\epsilon} = y - X \hat{\beta} = (I - X (X'X)^{-1} X') y = Q y = Q (X \beta + \epsilon) = Q \epsilon,$$

trong đó

$$Q = I - X (X'X)^{-1} X'.$$

Câu hỏi của tôi là làm thế nào để có được kết luận của

$$\textrm{tr}(Q) = n - p.$$

Kết luận chỉ đơn thuần là đếm kích thước của không gian vectơ. Tuy nhiên, nó không phải là nói chung.

Các tính chất cơ bản nhất của phép nhân ma trận cho thấy phép biến đổi tuyến tính được biểu thị bằng ma trận thỏa mãn$\mathbb{H}=X(X^\prime X)^{-}X^\prime$

$$\mathbb{H}^2 = \left(X(X^\prime X)^{-}X^\prime\right)^2=X(X^\prime X)^{-}(X^\prime X)(X^\prime X)^{-}X^\prime=\mathbb{H},$$

trưng bày nó như là một toán tử chiếu . Vì vậy, bổ sung của nó

$$\mathbb{Q} = 1 - \mathbb{H}$$

(như được đưa ra trong câu hỏi) cũng là một toán tử chiếu. Dấu vết của là thứ hạng (xem bên dưới), từ đó dấu vết của bằng .$\mathbb{H}$$h$$\mathbb{Q}$$n-h$

Từ chính công thức của nó, rõ ràng là ma trận liên quan đến thành phần của hai phép biến đổi tuyến tính và chínhĐầu tiên ( ) biến -vector thành -vector . Thứ hai ( ) là một phép biến đổi từ thành được đưa ra bởi . Thứ hạng của nó không thể vượt quá kích thước nhỏ hơn của hai chiều đó, trong một cài đặt bình phương nhỏ nhất luôn là (nhưng có thể nhỏ hơnJ = ( X ' X ) - X ' X J n y p β X R p R n y = X β p p J H = X J$\mathbb{H}$

$$\mathbb{J}=(X^\prime X)^{-}X^\prime$$ $X$$\mathbb{J}$$n$$y$$p$$\hat\beta$$X$$\mathbb{R}^p$$\mathbb{R}^n$$\hat y = X\hat \beta$$p$$p$, bất cứ khi nào không có thứ hạng đầy đủ). Do đó thứ hạng của các thành phần không thể vượt qua xếp hạng của . Kết luận chính xác là$\mathbb{J}$$\mathbb{H}=X\mathbb{J}$$X$

J n ≥ tr ( Q ) ≥ n - p $\text{tr} (\mathbb{Q}) = n-p$ khi và chỉ khi có thứ hạng đầy đủ; và nói chung . Trong trường hợp trước, mô hình được gọi là "nhận dạng" (đối với các hệ số của ).$\mathbb{J}$$n \ge \text{tr} (\mathbb{Q}) \ge n-p$$\beta$

X ′$\mathbb{J}$ sẽ có thứ hạng đầy đủ khi và chỉ khi không thể đảo ngược.$X^\prime X$

---

Giải thích hình học

n y X Q = 1 - H n y y = H ( y ) + Q ( y ) , X p X p H p Q n - p n - $\mathbb{H}$ biểu thị phép chiếu trực giao từ -vector (đại diện cho "phản hồi" hoặc "biến phụ thuộc") lên khoảng trắng được kéo dài bởi các cột của (đại diện cho "biến độc lập" hoặc "biến số"). Sự khác biệt cho thấy cách phân tách bất kỳ -vector thành một tổng các vectơ trong đó cái đầu tiên có thể được "dự đoán" từ và cái thứ hai vuông góc với nó. Khi các cột của tạo ra một không gian hai chiều (nghĩa là không phải là cộng tuyến),$n$$y$$X$$\mathbb{Q}=1-\mathbb{H}$$n$$y$

$$y = \mathbb{H}(y) + \mathbb{Q}(y),$$ $X$$p$$X$$p$$\mathbb{H}$ là và thứ hạng của là , phản ánh các chiều thay đổi bổ sung của trong phản hồi không được biểu thị trong các biến độc lập. Các dấu vết cho một công thức đại số cho các kích thước này.$p$$\mathbb{Q}$$n-p$$n-p$

---

Nền đại số tuyến tính

Một toán tử chiếu trên không gian vectơ (chẳng hạn như ) là một phép biến đổi tuyến tính (nghĩa là một phép biến hình của ) sao cho . Điều này làm cho phần bù của nó là một toán tử chiếu, bởi vìR n P : V → V V P 2 = P Q = 1 - $V$$\mathbb{R}^n$$\mathbb{P}:V\to V$$V$$\mathbb{P}^2=\mathbb{P}$$\mathbb{Q}=1-\mathbb{P}$

$$\mathbb{Q}^2 = \left(1 - \mathbb{P}\right)^2 = 1 - 2\mathbb{P} + \mathbb{P}^2 = 1-2\mathbb{P}+\mathbb{P} = \mathbb{Q}.$$

Tất cả các phép chiếu sửa mọi phần tử của hình ảnh của chúng, bất cứ khi nào chúng tôi có thể viết cho một số , khiv = P ( w ) w ∈ V w = P ( v ) = P 2 ( v ) = P ( P ( v ) ) = P ( w ) $v\in \text{Im}(\mathbb{P})$$v = \mathbb{P}(w)$$w\in V$

$$w = \mathbb{P}(v) = \mathbb{P}^2(v) = \mathbb{P}(\mathbb{P}(v)) = \mathbb{P}(w).$$

Kết hợp với bất kỳ tự đồng cấu của là hai subspaces: nó kernel và hình ảnh của nó Mọi vectơ có thể được viết dưới dạng trong đó và . Do đó, chúng tôi có thể xây dựng cơ sở cho trong đó và . Khi V ker ( P ) = { v ∈ $\mathbb{P}$$V$ Im ( P ) = { v ∈

$$\text{ker}(\mathbb{P}) = \{v\in v\,|\, \mathbb{P}(v)=0\}$$ v ∈ V $$\text{Im}(\mathbb{P}) = \{v\in v\,|\, \exists_{w\in V} \mathbb{P}(w)=v\}.$$ $v\in V$w ∈ Im ( P ) u ∈ Ker ( P ) E ∪ F V E ⊂ Ker ( P ) F ⊂ Im ( P ) V P P E P F f f F f P f $$v = w+u$$ $w\in \text{Im}(\mathbb{P})$$u\in \text{Ker}(\mathbb{P})$$E \cup F$$V$$E \subset \text{Ker}(\mathbb{P})$$F \subset \text{Im}(\mathbb{P})$$V$là chiều hữu hạn, ma trận của trong cơ sở này do đó sẽ ở dạng khối chéo, với một khối (tương ứng với hành động của trên ) tất cả các số 0 và khác (tương ứng với hoạt động của trên ) tương đương với bởi ma trận sắc, nơi mà các kích thước của là . Dấu vết của là tổng của các giá trị trên đường chéo và do đó phải bằng . Số này là thứ hạng của : kích thước của hình ảnh.$\mathbb{P}$$\mathbb{P}$$E$$\mathbb{P}$$F$$f$$f$$F$$f$$\mathbb{P}$$f\times 1 = f$$\mathbb{P}$

Dấu vết của bằng với dấu vết của (bằng , thứ nguyên của ) trừ đi dấu vết của . 1 n V $1-\mathbb{P}$$1$$n$$V$$\mathbb{P}$

Những kết quả này có thể được tóm tắt với sự khẳng định rằng dấu vết của một phép chiếu bằng với thứ hạng của nó.

@Dougal đã đưa ra câu trả lời, nhưng đây là một câu trả lời khác, đơn giản hơn một chút.

Trước tiên, hãy sử dụng thực tế là . Vì vậy, chúng tôi nhận được:Bây giờ là một ma trận danh tính , vì vậy . Bây giờ hãy sử dụng thực tế là , nghĩa là dấu vết là bất biến dưới hoán vị tuần hoàn. Vì vậy, chúng ta có:Khi chúng tôi nhân với , chúng tôi nhận được ma trận danh tính , có dấu vết là . Vì vậy, chúng tôi nhận được:t r ( Q ) = t r ( I ) - t r ( X ( X ′ X ) - 1 X ′ ) . I n × n t r ( I ) = n t r ( $\newcommand{\tr}{\mathrm{tr}}\tr(A - B) = \tr(A) - \tr(B)$

$$\tr(Q) = \tr(I) - \tr(X(X'X)^{-1}X').$$ $I$$n \times n$$\tr(I) = n$t r ( Q ) = n - t $\tr(AB) = \tr(BA)$( X ′ X ) - 1 ( X ′ $$\tr(Q) = n - \tr((X'X)^{-1}(X'X)).$$ $(X'X)^{-1}$p × p p t r ( Q ) = n - p $(X'X)$$p \times p$$p$ $$\tr(Q) = n - p.$$

$\newcommand\R{\mathbb R}$ Giả sử rằng và là thứ hạng đầy đủ.$n \le p$$X$

Hãy xem xét phân tách giá trị số ít gọn , trong đó là đường chéo và có (nhưng lưu ý được xếp hạng nhiều nhất nên không thể là ). Sau đó$X = U \Sigma V^T$$\Sigma \in \R^{p \times p}$$U \in \R^{n \times p}, V \in \R^{p \times p}$$U^T U = V^T V = V V^T = I_p$$U U^T$$p$$I_n$

$$\begin{align} X (X^T X)^{-1} X^T &= U \Sigma V^T (V \Sigma U^T U \Sigma V^T)^{-1} V \Sigma U^T \\&= U \Sigma V^T (V \Sigma^2 V^T)^{-1} V \Sigma U^T \\&= U \Sigma V^T V \Sigma^{-2} V^T V \Sigma U^T \\&= U U^T .\end{align}$$

Bây giờ, tồn tại một ma trận sao cho là đơn nhất. Chúng ta có thể viết Biểu mẫu này cho thấy là semidefinite dương và vì nó là một svd hợp lệ và các giá trị số ít là bình phương của các giá trị riêng cho ma trận đối xứng vuông, cũng cho chúng ta biết rằng có giá trị riêng 1 (của bội số ) và 0 (của bội số ).$U_2 \in \R^{n \times n-p}$$U_n = \begin{bmatrix}U & U_2\end{bmatrix}$QQn-ppQn-

$$\begin{align} I - X (X^T X)^{-1} X^T &= U_n U_n^T - U U^T \\&= U_n \left( I_n - \begin{bmatrix}I_p & 0 \\ 0 & 0\end{bmatrix} \right) U_n^T \\&= U_n \begin{bmatrix}0 & 0 \\ 0 & I_{n-p}\end{bmatrix} U_n^T .\end{align}$$ $Q$$Q$$n-p$$p$$Q$$n-p$.