Ước tính hồi quy tuyến tính với OLS so với ML

Giả sử rằng tôi sẽ ước tính hồi quy tuyến tính trong đó tôi giả sử . Lợi ích của OLS so với ước tính ML là gì? Tôi biết rằng chúng tôi cần biết phân phối khi chúng tôi sử dụng Phương thức ML, nhưng vì tôi giả sử cho dù tôi sử dụng ML hay OLS nên điểm này dường như không liên quan. Do đó, lợi thế duy nhất của OLS là ở các tính năng tiệm cận của các công cụ ước tính . Hay chúng ta có những lợi thế khác của phương pháp OLS?$u\sim N(0,\sigma^2)$$u$$u\sim N(0,\sigma^2)$$\beta$

Sử dụng các ký hiệu thông thường, khả năng đăng nhập của phương thức ML là

$l(\beta_0, \beta_1 ; y_1, \ldots, y_n) = \sum_{i=1}^n \left\{ -\frac{1}{2} \log (2\pi\sigma^2) - \frac{(y_{i} - (\beta_0 + \beta_1 x_{i}))^{2}}{2 \sigma^2} \right\}$ .

Nó phải được tối đa hóa đối với và .$\beta_0$$\beta_1$

Nhưng, thật dễ dàng để thấy rằng điều này tương đương với việc giảm thiểu

$\sum_{i=1}^{n} (y_{i} - (\beta_0 + \beta_1 x_{i}))^{2}$ .

Do đó, cả ML và OLS đều dẫn đến cùng một giải pháp.

Thêm chi tiết được cung cấp trong các ghi chú bài giảng tốt đẹp .

Bạn đang tập trung vào phần sai của khái niệm trong câu hỏi của bạn. Cái hay của bình phương tối thiểu là nó cung cấp một câu trả lời dễ dàng, không có sự phân phối, và nếu phân phối thực sự xảy ra là bình thường, thì đó cũng là câu trả lời khả năng maiximum (tôi nghĩ đây là Gauss-Markov). Khi bạn có phân phối khác với bình thường thì ML và OLS sẽ đưa ra các câu trả lời khác nhau (nhưng nếu phân phối thực gần với bình thường thì các câu trả lời sẽ tương tự nhau).

sự khác biệt duy nhất cho các mẫu hữu hạn là, công cụ ước lượng ML cho phương sai dư là sai lệch. Nó không chiếm số lượng hồi quy được sử dụng trong mô hình.