Là phần dư, e, một ước tính của lỗi,

Câu hỏi này đã được đưa ra trong một chủ đề khác mà tôi đã bắt đầu vì vậy tôi nghĩ rằng tôi sẽ nhận được nhiều ý kiến ​​của mọi người về nó. Câu hỏi của tôi là

Là phần dư, e, một ước tính của lỗi, ?$\epsilon$

Lý do mà tôi hỏi là như sau. Trong OLS, phương sai của phần dư, , được gọi là phương sai của hồi quy (trong đó RSS là tổng bình phương còn lại). Tương tự căn bậc hai của phương sai này,$\frac{\text{RSS}}{(n - K )}$ , là lỗi tiêu chuẩn của hồi quy. Với thực tế là căn bậc hai của phương sai,, là một lỗi tiêu chuẩn, điều đó có nghĩa là phương sai này là phương sai của công cụ ước tính. Chúng ta đã biết rằng đó là phương sai của phần dư, do đó, phần dư là một công cụ ước tính ?? (Tôi giả sử)$\sqrt\frac{\text{RSS}}{(n - K )}$$\frac{\text{RSS}}{(n - K )}$$\epsilon$

Suy nghĩ ??

Chắc chắn dư là một số loại của ước lượng của (phải rõ ràng, định nghĩa của dư là ước lượng, dư quan sát được là một ước tính). Nếu mô hình là chính xác, đôi khi chúng có thể là một ước tính khá tốt.$\epsilon$

Thật

,$e = y - \hat y = X\beta + \epsilon - X(X'X)^{-1} X'(X\beta + \epsilon) = (I - H)\epsilon$

nơi là hat-ma trận (vì nó 'puts chiếc mũ trên' y ) - đôi khi cũng được gọi là ma trận chiếu.$H = X(X'X)^{-1} X'$$y$

http://en.wikipedia.org/wiki/Hat_matrix

Đó là, 's là mỗi một sự kết hợp tuyến tính của ε ' s; nếu 1 - h i i tương đối lớn so với ∑ j ≠ i h i j (nếu H là 'nhỏ' so với I), thì hầu hết trọng lượng đều thuộc về lỗi thứ i (mặc dù điều này thường không phải là trường hợp ).$e$$\epsilon$$1-h_{ii}$$\sum_{j\neq i}h_{ij}$$H$$i^\textrm{th}$

Lưu ý rằng sẽ có cùng kỳ vọng và phương sai nhưϵivànếu các phần tử củaHnhỏ, theo cách vừa mô tả, sẽ có mối tương quan cao với nó - thực tế, nếu tôi đã thực hiện đúng đại số của mình, mối tương quan giữaeivàεithực sự là:corr(ei,εi)=$e_i/\sqrt{1-h_{ii}}$$\epsilon_i$ $H$ $e_i$$\epsilon_i$ .$\text{corr}(e_i,\epsilon_i) = \sqrt{1-h_{ii}}$