Những thuật toán / kỹ thuật MCMC nào được sử dụng cho các tham số rời rạc?

Tôi biết một số tiền hợp lý về việc điều chỉnh các tham số liên tục đặc biệt là các phương pháp dựa trên độ dốc, nhưng không nhiều về việc điều chỉnh các tham số rời rạc.

Các thuật toán / kỹ thuật MCMC thường được sử dụng để điều chỉnh các tham số rời rạc là gì? Có thuật toán nào khá chung chung và khá mạnh mẽ không? Có thuật toán nào giải quyết tốt lời nguyền của chiều không? Ví dụ, tôi sẽ nói Hamilton MCMC nói chung, mạnh mẽ và quy mô tốt.

Lấy mẫu từ một phân phối rời rạc tùy ý có vẻ khó hơn so với lấy mẫu từ một phân phối liên tục, nhưng tôi tò mò không biết tình trạng của nghệ thuật là gì.

Chỉnh sửa : JMS yêu cầu tôi giải thích.

Tôi không có ứng dụng cụ thể nào trong đầu, nhưng đây là một số loại mô hình tôi đang tưởng tượng:

• Lựa chọn mô hình giữa một số loại mô hình hồi quy liên tục. Bạn có một tham số 'mô hình' riêng lẻ
• Một mô hình liên tục trong đó mỗi quan sát có khả năng là một 'ngoại lệ' và được rút ra từ một phân phối phân tán hơn nhiều. Tôi cho rằng đây là một mô hình hỗn hợp.

Tôi hy vọng nhiều mô hình sẽ bao gồm cả các tham số liên tục và rời rạc.

Vì vậy, câu trả lời đơn giản là có: Metropolis-Hastings và trường hợp đặc biệt lấy mẫu Gibbs :) Chung và mạnh mẽ; nó có hay không phụ thuộc vào vấn đề trong tầm tay.

$f(k)$$P(\tilde k = k) = f(k)/\sum f(k)$$k$

Bạn đã có một mô hình cụ thể trong tâm trí? Có tất cả các cách tiếp cận MCMC để phù hợp với các mô hình hỗn hợp, ví dụ, trong đó các phép gán thành phần tiềm ẩn là các tham số rời rạc. Những phạm vi từ rất đơn giản (Gibbs) đến khá phức tạp.

Làm thế nào lớn là không gian tham số? Nó có tiềm năng rất lớn không (ví dụ trong trường hợp mô hình hỗn hợp, đó là N theo số lượng thành phần hỗn hợp)? Bạn có thể không cần bất cứ điều gì nhiều hơn một bộ lấy mẫu Gibbs, vì liên hợp không còn là vấn đề nữa (bạn có thể lấy hằng số chuẩn hóa trực tiếp để bạn có thể tính toán các điều kiện đầy đủ). Trong thực tế, Gibbs griddy thường được sử dụng phổ biến cho những trường hợp này, trong đó một trước liên tục được rời rạc để dễ dàng tính toán.

Tôi không nghĩ rằng có một "tốt nhất" cụ thể cho tất cả các vấn đề có không gian tham số riêng biệt nhiều hơn so với trường hợp liên tục. Nhưng nếu bạn cho chúng tôi biết thêm về các mô hình mà bạn quan tâm có lẽ chúng tôi có thể đưa ra một số đề xuất.

Chỉnh sửa: OK, tôi có thể cung cấp thêm một chút thông tin trong re: ví dụ của bạn.

$p(\beta)\sim \pi N(\beta; 0, \tau) + (1-\pi) N(\beta, 0, 1000\tau)$$p(\beta)\sim \pi \delta_0 (\beta) + (1-\pi) N(\beta, 0, \tau)$$\delta_0$$\beta$$Z$$Z_1\dots, Z_p$$2^p$$1:2^p$

$p(Z, \beta|y)$$p(Z, \beta|y) = p(\beta | Y, Z)p(Z|Y)$$Z$$\beta$

SSVS nhúng toàn bộ không gian mô hình trong một mô hình lớn. Thường thì điều này dễ thực hiện nhưng cho công việc kém. Nhảy ngược MCMC là một cách tiếp cận khác cho phép kích thước của không gian tham số thay đổi rõ ràng; xem [3] để xem xét và một số ghi chú thực tế. Bạn có thể tìm thấy ghi chú chi tiết hơn về việc thực hiện trong các mô hình khác nhau trong tài liệu, tôi chắc chắn.

$p=1000$

Một cách tiếp cận khác nhau đang trở nên phổ biến là sử dụng các linh mục co rút hoàn toàn liên tục mà mô phỏng theo kết quả trung bình. Thông thường chúng được xây dựng như là hỗn hợp quy mô của quy phạm. Lasso Bayes là một ví dụ, đó là một trường hợp đặc biệt của các linh mục gamma bình thường và một trường hợp giới hạn của các linh mục gamma bình thường theo cấp số nhân. Các lựa chọn khác bao gồm móng ngựa và lớp phân phối bình thường với các linh mục beta đảo ngược về phương sai của chúng. Để biết thêm về những điều này, tôi khuyên bạn nên bắt đầu với [6] và xem lại các tài liệu tham khảo (quá nhiều để tôi sao chép ở đây :))

Tôi sẽ bổ sung thêm về các mô hình ngoại lệ sau nếu tôi có cơ hội; tài liệu tham khảo cổ điển là [7]. Họ rất giống nhau về tinh thần với các linh mục thu nhỏ. Thông thường chúng khá dễ thực hiện với lấy mẫu Gibbs.

Có lẽ không thực tế như bạn đã hy vọng; lựa chọn mô hình nói riêng là một vấn đề khó khăn và mô hình càng phức tạp thì nó càng trở nên tồi tệ hơn. Cập nhật khối bất cứ nơi nào có thể là phần duy nhất của lời khuyên chung mà tôi có. Lấy mẫu từ hỗn hợp các bản phân phối, bạn sẽ thường gặp vấn đề là các chỉ số thành viên và các tham số thành phần có mối tương quan cao. Tôi cũng chưa từng đụng đến vấn đề chuyển nhãn (hoặc thiếu chuyển đổi nhãn); có khá nhiều tài liệu ở đó nhưng nó hơi xa khỏi nhà xe của tôi.

Dù sao, tôi nghĩ thật hữu ích khi bắt đầu với một số tài liệu tham khảo ở đây, để có cảm giác về những cách khác nhau mà những người khác đang tiếp cận vấn đề tương tự.

[1] Merlise Clyde và EI George. Mô hình khoa học thống kê không chắc chắn 19 (2004): 81--94. http://www.isds.duke.edu/~clyde/ con / statci.pdf

[2] http://www-personal.umich.edu/~bnyhan/montermoery-nyhan-bma.pdf

[3] Nhảy đảo ngược Green & Hastie MCMC (2009) http://www.stats.bris.ac.uk/~mapjg/ con / rjmcmc_20090613.pdf

[4] http://www.stat.duke.edu/~clyde/BAS/

[5] http://ba.stat.cmu.edu/journal/2010/vol05/su03/bottolo.pdf

[6] http://www.uv.es/bernardo/Polson.pdf

[7] Mike West Các mô hình ngoại lệ và các bản phân phối trước trong hồi quy tuyến tính Bayes (1984) JRSS-B