Sự khác biệt trong ước tính Bayes và ước tính khả năng tối đa là gì?

Hãy giải thích cho tôi sự khác biệt trong ước tính Bayes và ước tính khả năng tối đa?

Đó là một câu hỏi rất rộng và câu trả lời của tôi ở đây chỉ bắt đầu làm trầy xước bề mặt một chút. Tôi sẽ sử dụng quy tắc của Bayes để giải thích các khái niệm.

Giả sử rằng một tập hợp các thông số phân bố xác suất, , giải thích tốt nhất các tập dữ liệu D . Chúng tôi có thể muốn để ước lượng các thông số q với sự giúp đỡ của Quy tắc của Bayes:$\theta$$D$$\theta$

Các giải thích sau:

Ước tính khả năng tối đa

$\theta$$p(D|\theta)$$\hat{\theta}$$\hat{\theta}$

$\frac{p(\theta)}{p(D)}$$p(\theta)$$\theta$

Ước tính Bayes

$p(\theta|D)$$\theta$

$\theta$$p(\theta|D)$$\theta$$\theta$$\theta$

$evidence$

Điều này dẫn đến khái niệm 'linh mục liên hợp' trong ước tính Bayes. Đối với một chức năng khả năng nhất định, nếu chúng ta có lựa chọn về cách chúng ta thể hiện niềm tin trước đây, chúng ta phải sử dụng hình thức đó cho phép chúng ta thực hiện tích hợp được hiển thị ở trên. Ý tưởng về các linh mục liên hợp và cách chúng được thực hiện trên thực tế được COOlSerdash giải thích khá rõ trong bài đăng này .

Tôi nghĩ rằng bạn đang nói về ước lượng điểm như trong suy luận tham số, để chúng ta có thể giả sử mô hình xác suất tham số cho cơ chế tạo dữ liệu nhưng không xác định được giá trị thực của tham số.

Ước tính khả năng tối đa đề cập đến việc sử dụng mô hình xác suất cho dữ liệu và tối ưu hóa chức năng khả năng chung của dữ liệu được quan sát qua một hoặc nhiều tham số. Do đó, người ta thấy rằng các tham số ước tính phù hợp nhất với dữ liệu được quan sát so với bất kỳ tham số nào khác trong không gian tham số. Lưu ý rằng các hàm khả năng như vậy không nhất thiết được xem là "có điều kiện" đối với các tham số vì các tham số không phải là biến ngẫu nhiên, do đó, có vẻ phức tạp hơn để hình dung khả năng của các kết quả khác nhau so sánh hai tham số khác nhau. Hóa ra đây là một cách tiếp cận triết học.

Ước tính Bayes nói chung hơn một chút vì chúng ta không nhất thiết phải tối đa hóa sự tương tự Bayes về khả năng (mật độ sau). Tuy nhiên, loại ước tính tương tự (hoặc ước tính chế độ sau) được xem là tối đa hóa xác suất của tham số sau có điều kiện dựa trên dữ liệu. Thông thường, ước tính của Bayes thu được theo cách như vậy hoạt động gần như chính xác như của ML. Sự khác biệt chính là suy luận Bayes cho phép một phương pháp rõ ràng để kết hợp thông tin trước.

Ngoài ra 'Lịch sử sử thi về khả năng tối đa làm cho việc đọc được chiếu sáng

http://arxiv.org/pdf/0804.2996.pdf

Ước tính Bayes là suy luận Bayes trong khi MLE là một loại phương pháp suy luận thường xuyên.

$f(x_1,...,x_n; \theta) = \frac{f(\theta; x_1,...,x_n) * f(x_1,...,x_n)}{f(\theta)}$$likelihood = \frac{posterior * evidence}{prior}$$p(\theta) = 1/6$

Sự thay thế của MLE trong suy luận Bayes được gọi là ước lượng tối đa của posteriori (viết tắt là MAP) và thực tế MLE là trường hợp đặc biệt của MAP trong đó ưu tiên là thống nhất, như chúng ta thấy ở trên và như đã nêu trong Wikipedia :

Từ quan điểm của suy luận Bayes, MLE là trường hợp đặc biệt tối đa ước tính posteriori (MAP) giả định phân phối thống nhất các tham số trước.

Để biết chi tiết, vui lòng tham khảo bài viết tuyệt vời này: MLE vs MAP: kết nối giữa Khả năng tối đa và Ước tính Posteriori tối đa .

Và một điểm khác biệt nữa là khả năng tối đa là dễ bị quá mức, nhưng nếu bạn áp dụng phương pháp Bayes thì vấn đề quá phù hợp có thể tránh được.