OLS so với khả năng tối đa theo phân phối Bình thường trong hồi quy tuyến tính


8

Tôi thấy rằng đối với một mô hình hồi quy tuyến tính đơn giản, cả OLS và phương pháp khả năng tối đa (giả sử phân phối chuẩn) cho cùng một đầu ra (các giá trị tham số). Từ điều này, chúng ta có thể nói rằng OLS cũng đưa ra giả định ngầm về phân phối Bình thường hoặc ngược lại không? Tôi không quan tâm đến lý do tại sao cả hai tạo ra cùng một giá trị nhưng cái nào tạo ra giả định ít nghiêm ngặt hơn về dữ liệu?

Câu trả lời:


6

OLS không đưa ra một giả định quy tắc cho các lỗi mô hình. OLS có thể được sử dụng theo các giả định phân phối khác nhau và công cụ ước tính vẫn sẽ có ý nghĩa như là công cụ ước lượng không thiên vị tuyến tính phương sai tối thiểu.

Khả năng tối đa (ML) cũng có thể chứa các phân phối khác nhau, nhưng phân phối phải được chọn trước. Nếu phân phối thực tế có vẻ khác với phân phối giả định, công cụ ước tính ML sẽ không còn có ý nghĩa như công cụ ước tính tối đa hóa mật độ xác suất chung của dữ liệu.

Do đó, chúng ta có thể nói rằng trong một ứng dụng cụ thể ML đưa ra một giả định nghiêm ngặt hơn về các lỗi mô hình so với OLS.


Cảm ơn @RihchardHardy ..... bạn có thể giải thích ý nghĩa của nó, "OLS có thể được sử dụng theo các giả định phân phối khác nhau" không? Bởi vì theo hiểu biết của tôi, OLS không đưa ra bất kỳ giả định nào về dữ liệu, nó chỉ giảm thiểu tổng bình phương của phần dư.
Neeraj

Bạn đúng rồi. Điều đó có nghĩa là "Bất kể giả định phân phối là gì, nếu có, bạn đang thực hiện, OLS sẽ ổn".
Richard Hardy

@ cảm ơn RichardHardy. Nó có nghĩa là khả năng tối đa cũng tốt như giả định phân phối. Nhưng nó có nghĩa là đối với mô hình hồi quy tuyến tính OLS luôn tốt hơn ML?
Neeraj

1
Cái nào tốt hơn phụ thuộc vào hàm mục tiêu của bạn (hoặc hàm mất). 1. Nếu bạn muốn tối đa hóa mật độ xác suất chung của các lỗi, khả năng tối đa là lựa chọn của bạn (nhưng bạn phải kiểm tra mức độ dư của mô hình phù hợp với giả định phân phối). Ngoài ra, khả năng tối đa vẫn có thể hoạt động ngay cả khi phân phối lỗi không khớp; từ khóa ở đây là khả năng tối đa. 2. Nếu bạn muốn giảm thiểu tổng số dư bình phương, hãy tìm OLS.
Richard Hardy

1
Tôi nghĩ đó là một câu hỏi về giải thích. OLS và MLE có mục tiêu khác nhau. Tuy nhiên, tình cờ OLS và MLE giống nhau trong phân phối bình thường. Điều này có thể được hiểu là OLS vô tình sử dụng giả định danh nghĩa? Có lẽ, nhưng tôi sẽ không đặt nó theo cách đó. OLS không dựa trên nó và cũng không có mục tiêu tối đa hóa khả năng. Tôi sẽ gọi nó là một sự trùng hợp. Nói chung, bạn có thể hỏi một câu hỏi mới thay vì đặt nó trong các bình luận. Nhận xét lý tưởng nên liên quan chặt chẽ đến OP hoặc câu trả lời, trong khi thảo luận rộng hơn có thể xứng đáng với câu hỏi mới và câu trả lời mới.
Richard Hardy
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.