Regression mà không đánh chặn: bắt nguồn

Trong An Introduction to Learning thống kê (James et al.), Trong phần 3.7 tập thể dục 5, nó khẳng định rằng công thức cho giả hồi quy tuyến tính mà không có một đánh chặn là $\hat{\beta}_1$ nơivà

{\hat{β}}_{1} = = \frac{Σ_{Tôi = = 1}^{n} x_{Tôi} y_{Tôi}}{Σ_{Tôi = = 1}^{n} x_{Tôi}^{2}},

$\hat{\beta}_1 = \dfrac{\displaystyle\sum\limits_{i=1}^{n}x_iy_i}{\displaystyle \sum\limits_{i=1}^{n}x_i^2}\text{,}$

{\hat{β}}_{0} = \bar{y} - {\hat{β}}_{1} \bar{x}

$\hat{\beta}_0 = \bar{y}-\hat{\beta}_1\bar{x}$

là ước tính thông thường dưới OLS cho hồi quy tuyến tính đơn giản (

{\hat{β}}_{1} = \frac{S_{x y}}{S_{x x}}

$\hat{\beta}_1 = \dfrac{\displaystyle S_{xy}}{S_{xx}}$

S_{x y} = \sum_{i = 1}^{n} (x_{i} - \bar{x}) (y_{i} - \bar{y})

$S_{xy} = \displaystyle\sum\limits_{i=1}^{n}(x_i - \bar{x})(y_i - \bar{y})$

Đây không phải là bài tập thực tế ; Tôi chỉ đang tự hỏi làm thế nào để rút ra phương trình. Không sử dụng đại số ma trận , làm thế nào để tôi lấy được nó?

Nỗ lực của tôi: với , chúng ta có $\hat{\beta}_0 = 0$ . $\hat{\beta}_1 = \dfrac{\bar{y}}{\bar{x}} = \dfrac{S_{xy}}{S_{xx}}$

Sau khi một số đại số, nó có thể được chỉ ra rằng và $\displaystyle S_{xy} = \sum\limits_{i=1}^{n}x_i^2 - n\bar{x}\bar{y}$ . Từ đây, tôi bị kẹt. $\displaystyle S_{xx} = \sum\limits_{i=1}^{n}x_i^2 - n\bar{x}^2$

self-study least-squares

— Clarinetist
nguồn

Công thức ngay lập tức từ việc giải thích hình học của các bình phương tối thiểu , sử dụng

như là một "khớp" cho

và nhận ra công thức cho

như là

x / | | x | |

$x/||x||$

y

$y$

({\hat{β}}_{1}) x

$(\hat\beta_1)x$

(y \cdot (x / | | x | |)) x / | | x | |

$(y\cdot (x/||x||))x/||x||$

— whuber

@whuber: Thay vì viết

Tôi sẽ viết

Nếu điều đó không đủ dễ thấy đối với bạn, hãy xem xét sự khác biệt về kiểu chữ giữa

được mã hóa là | | x | | || y ||, và

x / | | x | |,

$x/||x||,$

x / ‖ x ‖ .

$x/\|x\|.$

| | x | | | | y | |,

$||x|| ||y||,$

ký hiệu là \ | x \ | \ | y \ |.

‖ x ‖ ‖ y ‖,

$\|x\|\|y\|,$

$\qquad$

— Michael Hardy

Điều này là đơn giản từ định nghĩa Bình phương tối thiểu thông thường. Nếu không có đánh chặn, một là giảm thiểu . Đây là mịn như một chức năng của , vì vậy tất cả cực tiểu (hoặc cực đại) xảy ra khi phái sinh là zero. Phân biệt đối với các chúng tôi nhận $R(\beta) = \sum_{i=1}^{i=n} (y_i- \beta x_i)^2$ $\beta$ $\beta$ . Giải cho cho công thức. $-\sum_{i=1}^{i=n} 2(y_i- \beta x_i)x_i$ $\beta$

— ồ
nguồn