Tại sao MCMC cần thiết khi ước tính một tham số bằng MAP

Đưa ra công thức ước tính MAP của một tham số Tại sao cần có cách tiếp cận MCMC (hoặc tương tự), tôi không thể lấy đạo hàm, đặt nó về 0 và sau đó giải quyết tham số?

bayesian estimation mcmc

— Đức
nguồn

Câu hỏi tuyệt vời!

Câu trả lời:

Nếu bạn biết gia đình của bạn đến từ đâu và nếu việc tìm ra đạo hàm của phân phối đó là khả thi về mặt phân tích, điều đó là chính xác.

Tuy nhiên, khi bạn sử dụng MCMC, bạn có thể sẽ không ở trong tình huống đó. MCMC được tạo ra cho các tình huống trong đó bạn không có khái niệm phân tích rõ ràng về việc hậu thế của bạn trông như thế nào.

— Christoph Hanck
nguồn

Tôi nghĩ rằng điều này hơi sai lệch: MCMC thường không được sử dụng để tìm công cụ ước tính MAP (bên ngoài các trường hợp đặc biệt như thuật toán MCEM).

— Vách đá AB

Tôi không đồng ý với bạn về nguyên tắc. Nhưng, MCMC có thể và được sử dụng để mô phỏng phân phối sau . Và một khi bạn đã thực hiện điều đó, bạn có thể chắc chắn tìm thấy chế độ phân phối đó, hay còn gọi là MAP. Đó là, tôi tin rằng, những gì OP có trong đầu, vì vậy tôi không chắc tại sao câu trả lời của tôi sẽ gây hiểu nhầm.

— Christoph Hanck

Có, tuy nhiên, MCMC có phải là phương pháp được lựa chọn khi giao dịch với MAP nếu không có cách phân tích để tối ưu hóa tham số?

— Dänu

Tôi chưa bao giờ nghe nói về việc sử dụng MCMC đơn giản để tìm chế độ phân phối sau (về mặt kỹ thuật, nó có thể được thực hiện, nhưng điều này cực kỳ không hiệu quả). Vì chúng ta thường có thể đánh giá một hàm tỷ lệ thuận với phân phối sau, nên tối đa hóa hàm này sẽ tương đương với tối đa hóa phân phối sau. Tối ưu hóa bên ngoài hộp sẽ hoạt động tốt như điều này như bất kỳ vấn đề khả năng thường xuyên nào (có nghĩa là, đôi khi bạn sẽ cần phải chuyên môn hóa chúng).

— Vách đá AB

@ Dänu Có lẽ bạn không muốn sử dụng MCMC (là pedantic, chuỗi Markov) để tìm cực đại. Một thuật toán tối ưu hóa nên hoạt động tốt hơn.

— jtobin

Hầu hết các hậu thế đều tỏ ra khó khăn trong việc tối ưu hóa phân tích (nghĩa là bằng cách lấy một độ dốc và đặt nó bằng 0), và bạn sẽ cần phải sử dụng một số thuật toán tối ưu hóa số để thực hiện MAP.

Bên cạnh: MCMC không liên quan đến MAP.

MAP - đối với tối đa một posteriori - đề cập đến việc tìm tối đa cục bộ của một thứ gì đó tỷ lệ thuận với mật độ sau và sử dụng các giá trị tham số tương ứng làm ước tính. Nó được định nghĩa là

{\hat{θ}}_{M A P} = {argmax}_{θ} p (θ | D)

$\hat{\theta}_{MAP} = \text{argmax}_{\theta} \, p(\theta \, | \, D)$

MCMC thường được sử dụng để ước tính gần đúng với tỷ lệ tương ứng với mật độ xác suất. Trong trường hợp của một hậu thế, đó là

{\hat{θ}}_{M C M C} = n^{- 1} \sum_{i = 1}^{n} θ_{i}^{0} \approx \int_{Θ} θ p (θ | D) d θ

$\hat{\theta}_{MCMC} = n^{-1} \sum_{i=1}^{n} \theta^{0}_{i} \approx \int_{\Theta}\theta \, p(\theta \, | \, D)d\theta$

$\{\theta^{0}_{i}\}^{n}_{i=1}$ $\hat{\theta}_{MAP} \neq \hat{\theta}_{MCMC}$

Điểm mấu chốt là MAP liên quan đến tối ưu hóa , trong khi MCMC dựa trên việc lấy mẫu .

— jtobin
nguồn

Bạn nói rằng hậu thế chứng tỏ là khó tối ưu hóa phân tích, đó là trường hợp trong MAP. Vì vậy, MAP chỉ có thể nếu hậu thế có thể được tối ưu hóa một cách phân tích và nếu đây không phải là trường hợp người ta phải dùng đến phương pháp MCMC?

— Dänu

Không, thay vì đi kèm với giải pháp phân tích, người ta có thể sử dụng thuật toán lặp để đưa ra giải pháp (ví dụ: nếu bản ghi nhật ký là lõm, chẳng hạn, bạn có thể sử dụng Phương pháp của Newton).

— Vách đá AB

MAP đề cập đến việc tìm các giá trị tham số (cục bộ) tối đa hóa một hậu thế. Không quan trọng bằng cách nào người ta có được các giá trị tham số đó: giải quyết tối đa một cách phân tích, sử dụng thói quen số, phân biệt tự động, v.v.

— jtobin