Các thuộc tính của MLE làm cho nó mong muốn hơn OLS là gì?

Câu hỏi này có vẻ đủ cơ bản để tôi tin rằng nó đã được trả lời ở đây ở đâu đó, nhưng tôi không tìm thấy nó.

Tôi hiểu rằng nếu biến phụ thuộc trong hồi quy thường được phân phối, khả năng tối đa và bình phương tối thiểu thông thường tạo ra các ước tính tham số giống nhau.

Khi biến phụ thuộc không được phân phối bình thường, ước tính tham số OLS không còn tương đương với MLE nhưng chúng vẫn là Ước tính không thiên vị tuyến tính tốt nhất (phương sai tối thiểu) (BLUE).

Vì vậy, các thuộc tính của MLE làm cho nó mong muốn gì ngoài những gì OLS cung cấp (là MÀU XANH)?

Nói cách khác, tôi sẽ mất gì nếu không thể nói ước tính OLS của mình là ước tính khả năng tối đa?

Để thúc đẩy câu hỏi này một chút: Tôi tự hỏi tại sao tôi muốn chọn một mô hình hồi quy khác với OLS với sự có mặt của một biến phụ thuộc rõ ràng không bình thường.

Khi bạn di chuyển đủ xa khỏi tính quy tắc, tất cả các công cụ ước tính tuyến tính có thể xấu tùy ý .

Biết rằng bạn có thể nhận được tốt nhất của một lô xấu (tức là ước tính không thiên vị tuyến tính tốt nhất ) không có nhiều sự an ủi.

Nếu bạn có thể chỉ định một mô hình phân phối phù hợp ( ay, có sự cọ xát ), tối đa hóa khả năng có cả sự hấp dẫn trực quan - trong đó nó "tối đa hóa cơ hội" nhìn thấy mẫu bạn thực sự nhìn thấy (với một sàng lọc phù hợp với những gì chúng ta có nghĩa là trong trường hợp liên tục) và một số thuộc tính rất gọn gàng cả về mặt lý thuyết và thực tế hữu ích (ví dụ: mối quan hệ với Cramer-Rao bị ràng buộc thấp hơn, tương đương dưới sự biến đổi, mối quan hệ với các thử nghiệm tỷ lệ khả năng và vv). Điều này thúc đẩy ước lượng M chẳng hạn.

Ngay cả khi bạn không thể chỉ định một mô hình, có thể xây dựng một mô hình mà ML mạnh mẽ bị nhiễm bẩn bởi các lỗi thô trong phân phối có điều kiện của phản hồi - nơi nó giữ được hiệu quả khá tốt tại Gaussian nhưng tránh được thảm họa tiềm tàng tác động của các ngoại lệ lớn tùy ý.

[Đó không phải là sự cân nhắc duy nhất với hồi quy, vì cũng cần có sự mạnh mẽ đối với hiệu ứng của các ngoại lệ có ảnh hưởng, nhưng đó là bước khởi đầu tốt]

$\frac12$

Phần trên cùng của sơ đồ là một ô vuông của hàng ngàn ước tính độ dốc cho mỗi mô phỏng. Phần dưới là một phần trăm trung tâm (đại khái, nó được đánh dấu bằng một hộp màu xám cam mờ ở ô trên cùng) của hình ảnh đó "nổ tung" để chúng ta có thể xem chi tiết hơn. Như chúng ta thấy các độ dốc bình phương nhỏ nhất nằm trong khoảng từ -771 đến 1224 và các phân vị thấp hơn và cao hơn là -1,24 và 2,46. Lỗi trong độ dốc LS là hơn 10% thời gian. Hai công cụ ước tính phi tuyến làm tốt hơn nhiều - chúng hoạt động khá giống nhau, không có ước tính nào trong 1000 ước tính độ dốc trong trường hợp lớn hơn 0,84 so với độ dốc thực và sai số tuyệt đối trung bình ở độ dốc nằm trong sân bóng là 0,14 cho mỗi (so với 1,86 cho công cụ ước lượng bình phương nhỏ nhất). Độ dốc LS có RMSE là 223 và 232 lần so với các ước tính L1 và LE trong trường hợp này (đó '

Có hàng tá các công cụ ước tính hợp lý khác có thể đã được sử dụng ở đây; đây chỉ đơn giản là một phép tính nhanh để minh họa rằng ngay cả các công cụ ước tính tuyến tính tốt nhất / hiệu quả nhất cũng có thể không hữu ích. Công cụ ước tính ML của độ dốc sẽ hoạt động tốt hơn (theo nghĩa MSE) so với hai công cụ ước tính mạnh được sử dụng ở đây, nhưng trong thực tế, bạn muốn một cái gì đó có độ mạnh đến các điểm có ảnh hưởng.

Trong trường hợp dữ liệu được phân phối bình thường, OLS hội tụ với MLE, một giải pháp là BLUE (ở điểm đó). Khi không còn bình thường, OLS không còn BLUE nữa (theo định lý Gauss-Markov) - điều này là do OLS có vẻ giảm thiểu SSR trong khi GMT định nghĩa BLUE theo SE tối thiểu. Xem thêm tại đây .

Nói chung, do MLE tồn tại (google cho 'MLE fail' hoặc trong trường hợp MLE không tồn tại), việc điều chỉnh nó sẽ dễ dàng hơn, để giảm thiểu phương sai hoặc làm cho nó không thiên vị (và do đó có thể so sánh với các công cụ ước tính khác) .