Mối quan hệ giữa MLE và bình phương nhỏ nhất trong trường hợp hồi quy tuyến tính

Hastie và Tibshirani đề cập đến trong phần 4.3.2 của cuốn sách của họ rằng trong cài đặt hồi quy tuyến tính, phương pháp bình phương nhỏ nhất trên thực tế là một trường hợp đặc biệt có khả năng tối đa. Làm thế nào chúng ta có thể chứng minh kết quả này?

PS: Phụ tùng không có chi tiết toán học.

regression maximum-likelihood least-squares

— Pradnyesh Joshi
nguồn

Đây không phải là trường hợp đặc biệt: chúng chỉ giống hệt nhau khi phân phối lỗi là bình thường.

— Zhanxiong

Mô hình hồi quy tuyến tính

, nơi $Y = X\beta + \epsilon$ $\epsilon \sim N(0,I\sigma^2)$

, và $Y \in \mathbb{R}^{n}$ $X \in \mathbb{R}^{n \times p}$ $\beta \in \mathbb{R}^{p}$

${\bf \epsilon = Y - X\beta}$ $\beta$ $L_2$

Bình phương nhỏ nhất

$(x_1,y_1),...,(x_n,y_n)$ $x_{i}$ $p$

{\hat{β}}_{L S} = \underset{β}{argmin} | | ϵ | |^{2} = \underset{β}{argmin} | | Y - X β | |^{2} = \underset{β}{argmin} \sum_{i = 1}^{n} (y_{i} - x_{i} β)^{2}

$\widehat{\beta}_{LS} = {\underset \beta {\text{argmin}}} ||{\bf \epsilon}||^2 = {\underset \beta {\text{argmin}}} ||{\bf Y - X\beta}||^2 = {\underset \beta {\text{argmin}}} \sum_{i=1}^{n} ( y_i - x_{i}\beta)^2$

Khả năng tối đa

$\beta$

L (Y | X, β) = \prod_{i = 1}^{n} f (y_{i} | x_{i}, β)

$L(Y|X,\beta) = \prod_{i=1}^{n} f(y_i|x_i,\beta)$

$f(y_i|x_i,\beta)$ $\sigma^2$

L (Y | X, β) = \prod_{i = 1}^{n} \frac{1}{\sqrt{2 π σ^{2}}} e^{- \frac{(y_{i} - x_{i} β)^{2}}{2 σ^{2}}}

$L(Y|X,\beta) = \prod_{i=1}^{n} \frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{(y_i - x_i\beta)^2}{2\sigma^2}}$

Bây giờ nói chung khi xử lý các khả năng dễ dàng hơn để lấy nhật ký trước khi tiếp tục (các sản phẩm trở thành tổng, số mũ biến mất), vì vậy hãy làm điều đó.

\log L (Y | X, β) = \sum_{i = 1}^{n} \log (\frac{1}{\sqrt{2 π σ^{2}}}) - \frac{(y_{i} - x_{i} β)^{2}}{2 σ^{2}}

$\log L(Y|X,\beta) = \sum_{i=1}^{n} \log(\frac{1}{\sqrt{2\pi\sigma^2}}) -\frac{(y_i - x_i\beta)^2}{2\sigma^2}$

$\beta$ $\beta$

{\hat{β}}_{M L E} = \underset{β}{argmax} \sum_{i = 1}^{n} - \frac{(y_{i} - x_{i} β)^{2}}{2 σ^{2}}

$\widehat{\beta}_{MLE} = {\underset \beta {\text{argmax}}} \sum_{i=1}^{n} -\frac{(y_i - x_i\beta)^2}{2\sigma^2}$

$\beta$

{\hat{β}}_{M L E} = \underset{β}{argmin} \sum_{i = 1}^{n} (y_{i} - x_{i} β)^{2} = {\hat{β}}_{L S}

$\widehat{\beta}_{MLE} = {\underset \beta {\text{argmin}}} \sum_{i=1}^{n} (y_i - x_i\beta)^2 = \widehat{\beta}_{LS}$

Hãy nhớ lại rằng để điều này hoạt động, chúng ta phải đưa ra một số giả định mô hình nhất định (tính quy tắc của các thuật ngữ lỗi, 0 trung bình, phương sai không đổi). Điều này làm cho bình phương tối thiểu tương đương với MLE trong các điều kiện nhất định. Xem ở đây và ở đây để thảo luận thêm.

Để đầy đủ, lưu ý rằng giải pháp có thể được viết là:

β = (X^{T} X)^{- 1} X^{T} y

${\bf \beta = (X^TX)^{-1}X^Ty}$

— ilanman
nguồn