MCMC trong một thiết lập thường xuyên

Tôi đã cố gắng hiểu được các vấn đề khác nhau trong các cài đặt thường xuyên sử dụng MCMC. Tôi quen thuộc rằng MCMC (hoặc Monte Carlo) được sử dụng để lắp GLMM và trong các thuật toán có thể là Monte Carlo EM. Có nhiều vấn đề thường xuyên hơn khi MCMC được sử dụng?

— Công viên xanh
nguồn

Khi một mô hình Bayes cũng có thể được hiểu là một mô hình thường xuyên (ví dụ, tất cả các linh mục đều bằng phẳng), chế độ sau là MLE. Vì vậy, bạn có thể sử dụng MCMC để làm MLE, mặc dù đó có thể không phải là một cách rất tốt để làm điều đó.

— Kodiologist

@Kodiologist Chắc chắn. Mặc dù, có khả năng chúng ta quan tâm đến ý nghĩa sau (nếu làm việc dưới chức năng mất bình phương tối thiểu), vì vậy chúng ta thậm chí sẽ không cố gắng tìm MLE. Nhưng tôi hiểu ý của bạn.

— Greenparker

@Kodiologist nhưng tại sao thường xuyên làm điều đó? Đầu tiên, điều này sẽ dẫn đến nhiều vấn đề về khái niệm (giả sử tham số đó là rv, cách giải thích HDI, v.v.). Thứ hai, nếu người thường xuyên sử dụng nó đơn giản thay vì thuật toán tối ưu hóa để tìm ước tính điểm, tại sao anh ta lại làm như vậy vì đó là một cách rất không hiệu quả nếu bạn chỉ sau khi ước tính điểm ...

— Tim

Tôi tình cờ gặp điều này, nhưng nghĩ đây là một chủ đề hữu ích. Nếu tôi không nhầm, các phương pháp monte carlo thường liên quan đến việc lấy mẫu từ phân phối mục tiêu mà người ta có thể hoặc không thể lấy mẫu trực tiếp từ đó. Sự thay đổi giữa Bayesian & Continentist là giải thích dữ liệu dưới dạng RV hoặc tham số là RV (như đã nêu bởi @Tim). Vì vậy, dường như với tôi rằng các phương pháp MC không phải là "bayesian" hay "thường xuyên". Đúng hơn là triết lý được áp dụng vào việc sử dụng chúng tạo ra sự khác biệt. Đây sẽ là một đánh giá chính xác?

— Jon

E [h (x)] = \int h (x) f (x) d x \approx \frac{1}{n} \sum^{n} x_{i}

$E[h(x)] = \int h(x) f(x) dx \approx \frac{1}{n}\sum^n x_i$

x_{i} \sim f

$x_i \sim f$

f

$f$

f

$f$

Như đã nêu trong nhiều ý kiến, Markov Chain Monte Carlo là trường hợp đặc biệt của phương pháp Monte Carlo, được thiết kế để tính gần đúng số lượng liên quan đến phân phối thông qua mô phỏng số giả ngẫu nhiên. Như vậy, nó không có mối liên hệ nào với một mô hình thống kê cụ thể và các trường hợp sớm nhất của phương pháp, như trong Metropolis et al. (1953), không liên quan đến thống kê, Bayes hay người thường xuyên. Nếu bất cứ điều gì các phương thức này tự nhiên là "thường xuyên" (dù sao cũng là một loại không xác định) thì chúng dựa vào sự ổn định của tần số hoặc trung bình theo kỳ vọng khi số lượng mô phỏng tăng lên, hay còn gọi là Định luật số lớn.

Do đó, có thể trong các vấn đề phức tạp không thuộc Bayes để sử dụng các phương pháp MCMC để thay thế các tích phân có thể điều chỉnh được. Kiểm tra ví dụ

tối ưu hóa các khả năng không có biểu thức dạng đóng, như trong các mô hình hiệu ứng ngẫu nhiên và biến tiềm ẩn. Thuật toán EM có thể không hoạt động do bước "E" khó hiểu, trong trường hợp đó, kỳ vọng cần được thay thế bằng xấp xỉ Monte Carlo hoặc xấp xỉ Chuỗi Monte Carlo . Với một đánh giá có thể của lỗi. Hoặc nó có thể không hoạt động do bước "M" khó hiểu, trong trường hợp đó, tối đa hóa đôi khi có thể được thay thế bằng thủ tục tối đa hóa Markovian như trong ủ mô phỏng . Hoặc sử dụng các bước Gibbs .
phương pháp mô phỏng suy luận trong kinh tế lượng, như phương pháp mô phỏng của khoảnh khắc , suy luận gián tiếp , khả năng thực nghiệm .
xấp xỉ các khả năng với các hằng số chuẩn hóa có thể điều chỉnh được như Ising, Potts và các mô hình trường ngẫu nhiên Markov khác, sử dụng các thuật toán trao đổi ví dụ .
$p$
một lần nữa trong kinh tế lượng, các công cụ ước tính kiểu Laplace , "bao gồm các phương tiện và lượng tử của các phân phối bán sau được định nghĩa là các phép biến đổi của các hàm tiêu chí thống kê dựa trên cơ sở tổng quát, như các phương pháp trong GMM, IV phi tuyến, khả năng theo kinh nghiệm và phương pháp khoảng cách tối thiểu" và Hong, 2003), dựa trên các thuật toán MCMC.

— Tây An
nguồn