Tỷ lệ chấp nhận cho Metropolis-Hastings với phân phối ứng viên thống nhất

Khi chạy thuật toán Metropolis-Hastings với các bản phân phối ứng viên thống nhất, lý do của việc có tỷ lệ chấp nhận khoảng 20% ​​là gì?

Suy nghĩ của tôi là: một khi các giá trị tham số đúng (hoặc gần đúng) được phát hiện, thì không có bộ giá trị tham số ứng cử viên mới nào trong cùng khoảng thời gian thống nhất sẽ làm tăng giá trị của hàm khả năng. Do đó, tôi càng chạy nhiều lần, tỷ lệ chấp nhận tôi sẽ nhận được càng thấp.

Tôi sai ở đâu trong suy nghĩ này? Cảm ơn nhiều!

Dưới đây là minh họa cho tính toán của tôi:

$$Acceptance\_rate = \exp \{l(\theta_c|y) + \log(p(\theta_c)) - [l(\theta^*|y) + \log(p(\theta^*) ]\},$$

Trong đó là khả năng đăng nhập.$l$

Vì ứng cử viên luôn được lấy từ cùng một khoảng thời gian,$\theta$

$$p(\theta_c) = p(\theta^*).$$

Do đó, tính toán tỷ lệ chấp nhận thu hẹp xuống:

$$Acceptance\_rate = \exp \{l(\theta_c | y) - [l(\theta^* | y) ]\}$$

Quy tắc chấp nhận của là như sau:$\theta_c$

Nếu , trong đó được rút ra từ phân phối đồng đều trong khoảng , thì$U \le Acceptance\_rate$$U$$[0,1]$

$$\theta^* = \theta_c,$$

khác rút ra từ phân phối đồng đều trong khoảng$\theta_c$$[\theta_{min}, \theta_{max}]$

Tôi tin rằng sự hội tụ yếu và nhân rộng tối ưu các thuật toán đi bộ ngẫu nhiên của Roberts, bởi Roberts, Gelman và Gilks ​​là nguồn cho tỷ lệ chấp nhận tối ưu 0,234.

Những gì bài báo cho thấy là, theo một số giả định nhất định, bạn có thể mở rộng thuật toán đi bộ ngẫu nhiên Metropolis-Hastings khi kích thước của không gian đi đến vô tận để có được sự khuếch tán giới hạn cho mỗi tọa độ. Trong giới hạn, khuếch tán có thể được coi là "hiệu quả nhất" nếu tỷ lệ chấp nhận lấy giá trị 0,234. Theo trực giác, đó là một sự đánh đổi giữa việc thực hiện nhiều bước nhỏ được chấp nhận và thực hiện nhiều đề xuất lớn bị từ chối.

Thuật toán Metropolis-Hastings không thực sự là một thuật toán tối ưu hóa, trái ngược với mô phỏng ủ. Đây là một thuật toán được cho là mô phỏng từ phân phối mục tiêu, do đó xác suất chấp nhận không nên được hướng về 0.

Chỉ cần thêm vào để trả lời bởi @NRH. Ý tưởng chung theo nguyên tắc của Goldilocks :

• Nếu các bước nhảy là "quá lớn", thì chuỗi gậy;
• Nếu các bước nhảy "quá nhỏ", thì chuỗi khám phá không gian tham số rất chậm;
• Chúng tôi muốn các bước nhảy là vừa phải.

Tất nhiên câu hỏi là, "chúng ta có ý gì". Về cơ bản, đối với một trường hợp cụ thể, họ giảm thiểu khoảng cách nhảy vuông dự kiến. Điều này tương đương với việc giảm thiểu độ tự động lag-1. Gần đây, Sherlock và Roberts đã chỉ ra rằng phép thuật 0,234 giữ cho các bản phân phối mục tiêu khác:

C. Sherlock, G. Roberts (2009); Mở rộng quy mô tối ưu của đô thị đi bộ ngẫu nhiên trên các mục tiêu không đối xứng hình elip ; Bernoulli 15 (3)

Tôi thêm điều này như một câu trả lời vì tôi không đủ danh tiếng để bình luận dưới câu hỏi. Tôi nghĩ rằng bạn đang nhầm lẫn giữa tỷ lệ chấp nhận và tỷ lệ chấp nhận .

1. Tỷ lệ chấp nhận được sử dụng để quyết định chấp nhận hay từ chối một ứng cử viên. Tỷ lệ mà bạn gọi là tỷ lệ chấp nhận thực sự được gọi là tỷ lệ chấp nhận và nó khác với tỷ lệ chấp nhận.
2. Tỷ lệ chấp nhận là tỷ lệ chấp nhận ứng viên. Đó là tỷ lệ số lượng giá trị duy nhất trong chuỗi MCMC so với tổng số giá trị trong chuỗi MCMC.

Bây giờ nghi ngờ của bạn về tỷ lệ chấp nhận tối ưu là 20% thực sự là về tỷ lệ chấp nhận thực sự, chứ không phải tỷ lệ chấp nhận. Câu trả lời được đưa ra trong các câu trả lời khác. Tôi chỉ muốn chỉ ra sự nhầm lẫn bạn đang có.