Sử dụng MLE so với OLS

Khi nào nên sử dụng Ước tính khả năng tối đa thay vì bình phương tối thiểu thông thường? Những điểm mạnh và hạn chế của mỗi là gì? Tôi đang cố gắng thu thập kiến thức thực tế về nơi sử dụng mỗi trong các tình huống phổ biến.

regression maximum-likelihood least-squares

— người dùng38133
nguồn

Như đã giải thích ở đây , OLS chỉ là một ví dụ cụ thể của MLE. Đây là câu hỏi liên quan chặt chẽ, với một dẫn xuất của OLS về MLE.

Phân phối có điều kiện tương ứng với mô hình nhiễu của bạn (đối với OLS: Gaussian và phân phối tương tự cho tất cả các đầu vào). Có các tùy chọn khác (t-Student để xử lý các ngoại lệ hoặc cho phép phân phối tiếng ồn phụ thuộc vào đầu vào )

— jpmuc
nguồn

t

$t$

OLS là phương pháp ước tính / ước lượng tối thiểu hóa khoảng cách, trong khi ML là phương pháp tối đa hóa "khả năng". OLS không cần giả định ngẫu nhiên để cung cấp giải pháp thu nhỏ khoảng cách của mình, trong khi ML bắt đầu bằng cách giả sử mật độ xác suất chung / hàm khối lượng. Thực tế là trong một số trường hợp, cả hai cung cấp cùng một giải pháp, không có cách nào làm cho cái này trở thành một ví dụ cụ thể của cái kia.

— Alecos Papadopoulos