Ước tính MLE vs MAP, khi nào nên sử dụng?

MLE = Ước tính khả năng tối đa

MAP = Tối đa một posteriori

MLE trực quan / ngây thơ ở chỗ nó chỉ bắt đầu với xác suất quan sát được đưa ra tham số (tức là hàm khả năng) và cố gắng tìm tham số phù hợp nhất với quan sát . Nhưng nó không xem xét các kiến ​​thức trước.

MAP có vẻ hợp lý hơn vì nó có tính đến kiến ​​thức trước thông qua quy tắc Bayes.

Đây là một câu hỏi liên quan, nhưng câu trả lời không kỹ lưỡng. /signals/13174/differences-USE-maximum-likabilities-or-maximum-a-posteriori-for-deconvolution-d

Vì vậy, tôi nghĩ MAP tốt hơn nhiều. Có đúng không? Và khi nào tôi nên sử dụng cái nào?

Nếu xác suất trước được đưa ra như một phần của thiết lập vấn đề, thì hãy sử dụng thông tin đó (tức là sử dụng MAP). Nếu không có thông tin trước được đưa ra hoặc giả định, thì MAP là không thể, và MLE là một cách tiếp cận hợp lý.

Một Bayes sẽ đồng ý với bạn, một người thường xuyên sẽ không. Đây là một vấn đề về quan điểm, quan điểm và triết lý. Tôi nghĩ rằng nó có hại rất nhiều cho cộng đồng thống kê khi cố gắng tranh luận rằng một phương pháp luôn tốt hơn phương pháp kia. Nhiều vấn đề sẽ có các giải pháp Bayes và thường xuyên tương tự nhau miễn là Bayes không quá mạnh trước đó.

Giả sử bạn có thông tin chính xác trước, MAP sẽ tốt hơn nếu vấn đề có hàm mất một không trên ước tính. Nếu tổn thất không phải là số một (và trong nhiều vấn đề trong thế giới thực thì không phải vậy), thì điều đó có thể xảy ra khi MLE đạt được mức giảm dự kiến ​​thấp hơn. Trong những trường hợp này, tốt hơn hết là không giới hạn bản thân với MAP và MLE là hai lựa chọn duy nhất, vì cả hai đều là tối ưu.

Câu trả lời ngắn của @bean giải thích nó rất tốt. Tuy nhiên, tôi muốn chỉ ra phần 1.1 của bài viết Lấy mẫu Gibbs cho người không quen thuộc của Resnik và Hardisty , điều này sẽ đưa vấn đề đến chiều sâu hơn. Tôi đang viết vài dòng từ bài báo này với những sửa đổi rất nhỏ (Câu trả lời này lặp lại vài điều mà OP biết vì sự hoàn chỉnh)

MLE

Chính thức MLE tạo ra sự lựa chọn (của tham số mô hình) rất có thể tạo ra dữ liệu được quan sát.

BẢN ĐỒ

Một MAP ước tính là sự lựa chọn rất có thể được cung cấp cho dữ liệu quan sát. Trái ngược với MLE, ước tính MAP áp dụng Quy tắc của Bayes, để ước tính của chúng tôi có thể tính đến kiến ​​thức trước về những gì chúng tôi mong đợi các tham số của chúng tôi ở dạng phân phối xác suất trước.

Nắm lấy

Các ước tính của MLE và MAP đều cho chúng ta ước tính tốt nhất, theo các phiên bản tương ứng của chúng là "tốt nhất". Nhưng lưu ý rằng việc sử dụng một ước tính duy nhất - cho dù đó là MLE hay MAP - sẽ loại bỏ thông tin. Về nguyên tắc, tham số có thể có bất kỳ giá trị nào (từ miền); chúng ta có thể không có được ước tính tốt hơn nếu chúng ta tính toàn bộ phân phối, thay vì chỉ một giá trị ước tính duy nhất cho tham số? Nếu chúng ta làm điều đó, chúng ta sẽ sử dụng tất cả thông tin về tham số mà chúng ta có thể vắt từ dữ liệu được quan sát, X.

Vì vậy, với sản phẩm này, chúng tôi có thể không muốn sử dụng chúng. Ngoài ra, như đã được đề cập bởi bean và Tim, nếu bạn phải sử dụng một trong số chúng, hãy sử dụng MAP nếu bạn có trước. Nếu bạn không có linh mục, MAP sẽ giảm xuống MLE. Các linh mục liên hợp sẽ giúp giải quyết vấn đề một cách phân tích, nếu không thì sử dụng Gibbs Sampling.

Nếu dữ liệu ít hơn và bạn có sẵn các linh mục - "GO FOR MAP". Nếu bạn có nhiều dữ liệu, MAP sẽ hội tụ thành MLE. Do đó, trong trường hợp có nhiều kịch bản dữ liệu, tốt hơn là thực hiện MLE thay vì MAP.