MLE so với bình phương tối thiểu trong phân phối xác suất phù hợp


18

Ấn tượng mà tôi có được, dựa trên một số bài báo, sách và bài báo mà tôi đã đọc, đó là cách được khuyến nghị để phù hợp với phân phối xác suất trên một tập hợp dữ liệu là bằng cách sử dụng ước tính khả năng tối đa (MLE). Tuy nhiên, là một nhà vật lý, một cách trực quan hơn là chỉ cần phù hợp với pdf của mô hình với pdf theo kinh nghiệm của dữ liệu bằng cách sử dụng bình phương tối thiểu. Tại sao sau đó MLE tốt hơn bình phương tối thiểu trong phân phối xác suất phù hợp? Ai đó có thể vui lòng chỉ cho tôi một bài báo / cuốn sách khoa học trả lời câu hỏi này không?

Linh cảm của tôi là bởi vì MLE không giả sử mô hình tiếng ồn và "tiếng ồn" trong pdf theo kinh nghiệm là không đồng nhất và không bình thường.

Câu trả lời:


2

Một cách suy nghĩ hữu ích về điều này là lưu ý rằng có những trường hợp khi bình phương nhỏ nhất và MLE giống nhau, ví dụ như ước tính các tham số trong đó phần tử ngẫu nhiên có phân phối bình thường. Vì vậy, trên thực tế, thay vì (như bạn suy đoán) rằng MLE không giả sử mô hình tiếng ồn, điều đang xảy ra là nó giả định có tiếng ồn ngẫu nhiên, nhưng có cái nhìn tinh vi hơn về cách hình thành thay vì giả định nó có phân phối bình thường.

Bất kỳ sách giáo khoa về suy luận thống kê sẽ xử lý các thuộc tính tốt đẹp của MLE liên quan đến hiệu quả và tính nhất quán (nhưng không nhất thiết là sai lệch). MLE cũng có đặc tính tốt là bản thân bình thường không có triệu chứng trong một điều kiện hợp lý.


ý tôi là "không giả sử một mô hình nhiễu ngẫu nhiên" là nó không cho rằng nhiễu có một số phân phối xác định, ví dụ như bình thường. Bạn có thể chỉ ra một cuốn sách thảo luận về ước tính tham số bằng cách khớp PDF bằng cách sử dụng bình phương tối thiểu không? Những cuốn sách mà tôi tìm thấy chỉ thảo luận về MLE (và đôi khi, phương pháp của những khoảnh khắc).
Christian Alis

Để phù hợp với MLE, bạn vẫn cần phải có một phân phối xác định, nhưng bạn có nhiều lựa chọn hơn so với bình thường. Chỉ cần chọn cuốn sách đầu tiên thảo luận về hai cuốn sách, tôi có Garthwaite, Jolliffe và Jones Statistics Inference (một cuốn sách văn bản uni năm thứ hai khá chuẩn) thảo luận về bình phương tối thiểu cũng như phương pháp của khoảnh khắc và phương pháp tối thiểu Chi bình phương thay thế để MLE.
Peter Ellis
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.