Làm thế nào để tối ưu hóa chênh lệch rút ra khi tính toán nhiều kỳ vọng

Giả sử chúng ta muốn tính toán một số kỳ vọng:

$$E_YE_{X|Y}[f(X,Y)]$$

Giả sử chúng ta muốn ước tính điều này bằng cách sử dụng mô phỏng Monte Carlo.

$$E_YE_{X|Y}[f(X,Y)] \approx \frac1{RS}\sum_{r=1}^R\sum_{s=1}^Sf(x^{r,s},y^r)$$

NHƯNG giả sử việc rút mẫu từ cả hai bản phân phối là rất tốn kém, do đó chúng tôi chỉ đủ khả năng để vẽ một số cố định . $K$

Chúng ta nên phân bổ như thế nào? Các ví dụ bao gồm các lần rút cho mỗi phân phối, hoặc ở mức cực đoan, một lần rút ở bên ngoài và rút ra ở bên trong, ngược lại, v.v. .....K / 2 K - $K$$K/2$$K-1$

Trực giác của tôi nói với tôi rằng nó sẽ phải làm với phương sai / entropy của các bản phân phối liên quan đến nhau. Giả sử một bên ngoài là một điểm hàng loạt, sau đó bộ phận của giảm thiểu MC lỗi sẽ được vẽ 1 của và vẽ của . Y K - 1 X | $K$$Y$$K-1$$X|Y$

Hy vọng điều này là rõ ràng.

Đây là một câu hỏi rất thú vị với ít tài liệu trong tài liệu Monte Carlo, ngoại trừ liên quan đến phân tầng và Rao-Blackwellisation . Điều này có thể là do thực tế là các tính toán của phương sai điều kiện dự kiến ​​và phương sai của kỳ vọng có điều kiện hiếm khi khả thi.

Trước tiên, giả sử bạn chạy mô phỏng từ π X , x 1 , Rèn , x R và với mỗi mô phỏng x r , bạn chạy mô phỏng S từ π Y | X = x r , y 1 r , ... , y s r . Ước tính Monte Carlo của bạn là δ ( R , S ) = $R$$\pi_X$$x_1,\ldots,x_R$$x_r$$S$$\pi_{Y|X=x_r}$$y_{1r},\ldots,y_{sr}$ Phương sai của ước tính này bị phân hủy như sau var { δ ( R , S )

$$\delta(R,S)=\frac{1}{RS}\sum_{r=1}^R\sum_{s=1}^S f(x_r,y_{rs})$$ Do đó, nếu ai muốn giảm thiểu sai này lựa chọn tối ưu làR=K. Ngụ ý rằngS=1. Ngoại trừ khi thuật ngữ phương sai đầu tiên là null, trong trường hợp đó nó không quan trọng. Tuy nhiên, như đã thảo luận trong các ý kiến, giả địnhK=RSlà không thực tế vì nó không tính đến việc sản xuất mộtxr[hoặc giả sử điều này là miễn phí]. $$\begin{align*} \text{var} \{\delta(R,S)\} &= \frac{1}{R^2S^2} R\text{var} \left\{\sum_{s=1}^S f(x_r,y_{rs})\right\}\\ &= \frac{1}{RS^2} \text{var}_X\mathbb{E}_{Y|X}\left\{\sum_{s=1}^S f(x_r,y_{rs})\big|x_r\right\}+\frac{1}{RS^2}\mathbb{E}_{X}\text{var}_{Y|X} \left\{\sum_{s=1}^S f(x_r,y_{rs})\big|x_r\right\}\\ &=\frac{1}{RS^2} \text{var}_X\{ S \mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{RS^2} \mathbb{E}_{X}[S\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]\\ &=\frac{1}{R} \text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{RS} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]\\ &\stackrel{K=RS}{=}\frac{1}{R}\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{K} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}] \end{align*}$$ $R=K$$S=1$$K=RS$$x_r$

Bây giờ chúng ta giả định chi phí mô phỏng khác nhau và giới hạn ngân sách , có nghĩa là y r s 'chi phí của một lần trở lên để mô phỏng so với x r ' s. Phân rã trên của phương sai là $R+aRS=b$$y_{rs}$$a$$x_r$ có thể được giảm thiểu trongRlà R*=b/1+{mộtEX[varY| X{f(xr,Y)| x

$$\frac{1}{R}\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{R(b-R)/aR} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]$$ $R$ [số nguyên gần nhất dưới sự ràng buộc R ≥ 1 và S ≥ 1 ], trừ khi phương sai đầu tiên là bằng không, trong trường hợp R = 1 . Khi E X [ var Y | X { f ( x r $$R^*=b\big/1+\{a\mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}/\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}\}^{1/2}$$ $R\ge 1$$S\ge 1$$R=1$ , phương sai tối thiểu tương ứng với R tối đa, dẫn đến S = 1 trong hình thức hiện tại.$\mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]=0$$R$$S=1$

Cũng lưu ý rằng giải pháp này nên được so sánh với giải pháp đối xứng khi tích phân bên trong nằm trong cho Y và tích phân bên ngoài so với biên trong Y (giả sử các mô phỏng cũng khả thi theo thứ tự này).$X$$Y$$Y$

Một phần mở rộng thú vị cho câu hỏi sẽ là xem xét một số mô phỏng nhau cho mỗi mô phỏng x r , tùy thuộc vào giá trị var Y | X { f ( x r , Y ) | x r } .$S(x_r)$$x_r$$\text{var}_{Y|X}\{f(x_r,Y)|x_r\}$