Lấy mẫu chính xác từ các hỗn hợp không đúng cách

Giả sử tôi muốn lấy mẫu từ một phân phối liên tục . Nếu tôi có một biểu thức của trong mẫu$p(x)$$p$

$$p(x) = \sum_{i=1}^\infty a_i f_i(x)$$

trong đó và f_i là các bản phân phối có thể dễ dàng lấy mẫu từ đó, sau đó tôi có thể dễ dàng tạo mẫu từ p bằng cách:$a_i \geqslant 0, \sum_i a_i= 1$$f_i$$p$

1. Lấy mẫu nhãn $i$ với xác suất $a_i$
2. Lấy mẫu $X \sim f_i$

Có thể khái quát thủ tục này nếu $a_i$ đôi khi âm? Tôi nghi ngờ tôi đã thấy điều này được thực hiện ở đâu đó - có thể trong một cuốn sách, có thể là cho bản phân phối Kolmogorov - vì vậy tôi rất vui khi chấp nhận một tài liệu tham khảo như một câu trả lời.

Nếu một ví dụ về đồ chơi cụ thể là hữu ích, giả sử tôi muốn lấy mẫu từ

$$p(x,y) \propto \exp(-x-y-\alpha\sqrt{xy})\qquad x,y > 0$$ Tôi sẽ lấy $\alpha \in (0, 2)$ vì lý do kỹ thuật không quan trọng quá nhiều, trong sơ đồ lớn của mọi thứ.

Về nguyên tắc, sau đó tôi có thể mở rộng số tiền này dưới dạng tổng sau:

$$p(x,y) \propto \sum_{n=0}^\infty \frac{(-1)^n \alpha^n \left( \frac{n}{2} \right)! \left( \frac{n}{2} \right)!}{n!} \left( \frac{x^{n/2} e^{-x}}{\left( \frac{n}{2} \right)!}\right) \left( \frac{y^{n/2} e^{-y}}{\left( \frac{n}{2} \right)!}\right) .$$

Các ký tự $(x,y)$ bên trong tổng sau đó có thể được lấy mẫu độc lập từ các biến thể ngẫu nhiên Gamma. Vấn đề của tôi rõ ràng là các hệ số "đôi khi" âm tính.

Chỉnh sửa 1 : Tôi làm rõ rằng tôi đang tìm cách tạo các mẫu chính xác từ $p$ , thay vì tính toán các kỳ vọng theo $p$ . Đối với những người quan tâm, một số thủ tục để làm như vậy được ám chỉ trong các ý kiến.

Chỉnh sửa 2 : Tôi tìm thấy tài liệu tham khảo bao gồm một cách tiếp cận cụ thể cho vấn đề này, trong 'Thế hệ biến thể ngẫu nhiên không đồng nhất' của Devroye . Thuật toán lấy từ 'Lưu ý về Lấy mẫu từ Kết hợp phân phối', của Bignami và de Matteis . Phương pháp này có hiệu quả để ràng buộc mật độ từ trên bằng các số hạng dương của tổng, và sau đó sử dụng lấy mẫu từ chối dựa trên đường bao này. Điều này tương ứng với phương pháp được mô tả trong câu trả lời của @ Xi'an.

Tôi đã bối rối về câu hỏi này nhưng không bao giờ đi kèm với một giải pháp thỏa mãn.

Một thuộc tính có thể sử dụng là, nếu mật độ ghi trong đó là a mật độ sao cho , mô phỏng từ và từ chối các mô phỏng này với xác suất cung cấp mô phỏng từ . Trong trường hợp hiện tại, là phiên bản chuẩn hóa của các thành phần trọng lượng dương và là phần còn lại

$$f(x)=\frac{g(x)-\omega h(x)}{1-\omega}\qquad \omega>0$$ $g$$g(x)\ge \omega h(x)$$g$$\omega h(x)/g(x)$$f$$g$ $$g(x)=\sum_{\alpha_i>0} \alpha_i f_i(x) \big/ \sum_{\alpha_i>0} \alpha_i$$ $\omega h$ $$h(x)=\sum_{\alpha_i<0} \alpha_i f_i(x) \big/ \sum_{\alpha_i<0}\alpha_i$$ Điều này thực sự được tìm thấy trong kinh thánh mô phỏng của Devroye, thế hệ biến thiên ngẫu nhiên không đồng nhất , Phần II.7.4, nhưng xuất phát từ một lý do chấp nhận từ chối đơn giản.

Một nhược điểm đầu tiên của phương pháp tính toán này là, mặc dù mô phỏng đầu tiên từ một thành phần được chọn , các khoản tiền trong cả và phải được tính cho bước từ chối. Nếu các khoản tiền là vô hạn không có phiên bản biểu mẫu đóng, điều này làm cho phương thức chấp nhận từ chối không thể thực hiện được .$f_i$$g$$h$

Một khó khăn thứ hai là, vì cả hai tổng trọng số đều có cùng thứ tự tỷ lệ từ chốikhông có giới hạn trên. Trên thực tế nếu chuỗi liên kết với không hoàn toàn hội tụ, xác suất chấp nhận bằng không! Và phương pháp không thể được thực hiện trong tình huống này.

$$\sum_{\alpha_i>0}\alpha_i = 1 - \sum_{\alpha_i<0}\alpha_i$$ $$1-\varrho^\text{accept}=\sum_{\alpha_i<0}|\alpha_i| \Big/ \sum_i |\alpha_i|$$ $\alpha_i$

Trong trường hợp biểu diễn hỗn hợp, nếu có thể được viết là thành phần có thể được chọn trước tiên và sau đó phương thức được áp dụng cho thành phần. Nhưng điều này có thể rất khó thực hiện, xác định các cặp phù hợp với từ tổng vô hạn có thể không nhất thiết là khả thi.$f$

$$f(x)=\sum_{i=1}^\infty \alpha_i \frac{g_i(x)-\omega_i h(x_i)}{1-\omega_i}\qquad \omega_i>0$$ $(g_i,h_i)$$g_i(x)-\omega_i h(x_i)>0$

Tôi nghĩ rằng một độ phân giải hiệu quả hơn có thể đến từ chính đại diện loạt. Devroye, thế hệ phương sai ngẫu nhiên không đồng nhất , Phần IV.5, chứa một loạt các phương pháp loạt. Ví dụ: thuật toán sau cho biểu diễn chuỗi thay thế của mục tiêu khi ' s hội tụ về 0 với và là mật độ:

$$f(x)=\kappa h(x)\{1-a_1(x)+a_2(x)-\cdots\}$$ $a_i(x)$$n$$h$

Vấn đề đã được xem xét gần đây trong bối cảnh các công cụ ước tính thiên vị cho MCMC, ví dụ như trong phương pháp Glynn-Rhee . Và công cụ ước tính roulette Nga (có liên quan đến vấn đề nhà máy Bernoulli). Và phương pháp MCMC không thiên vị . Nhưng không có lối thoát khỏi vấn đề dấu hiệu ... Điều này khiến cho việc sử dụng nó trở nên khó khăn khi ước tính mật độ như trong các phương pháp giả biên.

Sau khi suy nghĩ thêm, kết luận của tôi là không có phương pháp chung nào để tạo ra một mô phỏng thực tế từ loạt bài này [thay vì hỗn hợp hóa ra là một cách hiểu sai], mà không áp đặt thêm cấu trúc cho các yếu tố của chuỗi, như phương pháp trong thuật toán trên từ kinh thánh của Devroye . Thật vậy, vì hầu hết mật độ (?) Cho phép mở rộng một loạt các loại ở trên, điều này sẽ ám chỉ sự tồn tại của một loại máy mô phỏng vạn năng ...

Tôi có dự thảo về một ý tưởng có thể làm việc. Nó không chính xác , nhưng hy vọng chính xác không có triệu chứng. Để biến nó thành một phương pháp thực sự nghiêm ngặt, trong đó kiểm soát gần đúng hoặc một cái gì đó về nó có thể được chứng minh, có lẽ cần rất nhiều công việc.

Đầu tiên, như được đề cập bởi Xi'an, bạn có thể nhóm các trọng số dương trên một mặt và mặt khác các trọng số âm, để cuối cùng vấn đề chỉ có hai phân phối và :$g$$h$

$$p=\lambda g - \mu h$$

với . Lưu ý rằng bạn có .$\lambda-\mu=1$$\lambda\geq 1$

Ý tưởng của tôi là như sau. Bạn muốn quan sát mẫu từ . Làm:$N$$p$

• mẫu giá trị từ và lưu trữ chúng trong danh sách$\lambda N$$g$
• đối với mỗi giá trị lấy mẫu từ , hãy xóa hàng xóm gần nhất (còn lại) của chúng khỏi danh sách.$\mu N$$h$

Cuối cùng, bạn nhận được điểm. Nó không cần phải chính xác là hàng xóm gần nhất , mà chỉ cần một điểm "đủ gần". Bước đầu tiên giống như tạo ra vật chất. Bước thứ hai giống như tạo ra phản vật chất và để nó va chạm và hủy bỏ với vật chất. Phương pháp này không chính xác, nhưng tôi tin rằng, trong một số điều kiện, nó chính xác không có triệu chứng đối với lớn (để làm cho nó gần như chính xác cho nhỏ bạn cần sử dụng lớn trước và sau đó lấy một phần nhỏ ngẫu nhiên trong danh sách cuối cùng) . Tôi đang đưa ra một lập luận rất không chính thức, đó là một lời giải thích hơn là một bằng chứng.$(\lambda-\mu)N=N$$N$$n$$N$

Xem xét trong không gian quan sát và âm lượng nhỏ xung quanh với âm lượng Lebesgue . Sau khi lấy mẫu từ , số phần tử trong danh sách cũng có trong là xấp xỉ . Sau bước thứ hai, xấp xỉ sẽ bị xóa khỏi nó và bạn có số xấp xỉ mong muốn . Đối với điều này, bạn cần giả định rằng số điểm trong âm lượng là đủ lớn.$x$$v$$x$$\epsilon$$g$$v$$\lambda Ng(x)\epsilon$$\mu Nh(x)\epsilon$$Np(x)\epsilon$

Phương pháp này rất khó có thể chống lại kích thước lớn hoặc một số bệnh lý của và nhưng có thể hoạt động ở kích thước nhỏ và các phân phối "đủ đồng đều".$g$$h$

Lưu ý về một phương pháp chính xác:

Trước tiên tôi nghĩ về điều này cho các phân phối rời rạc và rõ ràng trong trường hợp đó phương pháp này không chính xác, vì nó có thể tạo ra các mẫu có xác suất 0. Tôi có trực giác mạnh mẽ rằng một phương pháp chính xác là không thể với thời gian xử lý hữu hạn, và điều này không thể chứng minh được, ít nhất là đối với các phân phối rời rạc. Luật chơi là bạn chỉ được phép sử dụng các bộ lấy mẫu "tiên tri" chính xác cho và nhưng không biết và là các hàm của . Để đơn giản, hạn chế phân phối Bernoulli. Sự không tồn tại của một phương thức chính xác có liên quan đến lý thuyết Nhà máy Bernoulli : nếu bạn có thể tạo một -coin từ một$g$$h$$g$$h$$x$$(\lambda p - \mu q)$$p$-coin và -coin, sau đó bạn có thể tạo một -coin từ -coin, điều được biết là không thể đối với .$q$$\lambda p$$p$$\lambda>1$