Kết quả về ước tính Monte Carlo được tạo ra bằng cách lấy mẫu quan trọng

Tôi đã làm việc về lấy mẫu quan trọng khá chặt chẽ trong năm qua và có một vài câu hỏi mở mà tôi hy vọng sẽ nhận được sự giúp đỡ.

Kinh nghiệm thực tế của tôi với các sơ đồ lấy mẫu quan trọng là đôi khi chúng có thể tạo ra các ước tính sai lệch thấp và sai lệch thấp tuyệt vời. Tuy nhiên, thường xuyên hơn, họ có xu hướng tạo ra các ước tính sai số cao có phương sai mẫu thấp nhưng độ lệch rất cao.

Tôi tự hỏi liệu có ai có thể giải thích chính xác các loại yếu tố ảnh hưởng đến tính hợp lệ của các ước tính lấy mẫu quan trọng không? Đặc biệt, tôi đang tự hỏi:

1) Các ước tính lấy mẫu quan trọng có được đảm bảo hội tụ đến kết quả chính xác khi phân phối xu hướng có hỗ trợ giống như phân phối ban đầu không? Nếu vậy, tại sao điều này dường như mất nhiều thời gian trong thực tế?

2) Có mối quan hệ định lượng giữa sai số trong ước tính được tạo ra thông qua lấy mẫu quan trọng và "chất lượng" của phân phối xu hướng (nghĩa là nó phù hợp với phân phối không phương sai bao nhiêu)

3) Một phần dựa trên 1) và 2) - có cách nào để định lượng 'bạn phải biết bao nhiêu về phân phối trước khi sử dụng thiết kế lấy mẫu quan trọng hơn phương pháp Monte Carlo đơn giản.

monte-carlo information-theory importance-sampling

— Berk U.
nguồn

Câu trả lời:

Lấy mẫu quan trọng có xác nhận chính xác giống như phương pháp Monte Carlo cơ bản. Tại cốt lõi của nó, nó là Monte Carlo cơ bản . Trên thực tế, nó chỉ đơn giản là một sự thay đổi biện pháp tham khảo, đi từ để

\int h (x) f (x) d x

$\int h(x) f(x) \text{d}x$

Do đó, sự hội tụ được bảo đảm theo luật số lượng lớn trong cả hai trường hợp, tức là cho dù bạn mô phỏng từ

hay từ

. Ngoài ra, nếu thuật ngữ

\int h (x) \frac{f (x)}{g (x)} g (x) d x

$\int h(x) \dfrac{f(x)}{g(x)} g(x) \text{d}x$

f

$f$

g

$g$

là hữu hạn, giới hạn lý trung ương cũng được áp dụng và tốc độ hội tụ là

\int h^{2} (x) \frac{f^{2} (x)}{g (x)} d x

$\int h^2(x) \dfrac{f^2(x)}{g(x)} \text{d}x$

. Nếu nó "mất quá nhiều thời gian trong thực tế", đó là do yếu tố phương sai trên trong CLT có thể khá lớn. Nhưng, và tôi nhấn mạnh, tốc độ cũng giống như với bình thường Monte Carlo,

O (1 / \sqrt{n})

$\text{O}(1/\sqrt{n})$

O (1 / \sqrt{n})

$\text{O}(1/\sqrt{n})$

Do đó, chất lượng của phân phối lấy mẫu quan trọng liên quan trực tiếp đến yếu tố phương sai ở trên, bằng không đối với "phân phối phương sai bằng không" tỷ lệ với . $|h(x)|f(x)$

— Tây An
nguồn

Tôi nghi ngờ, cho rằng OP đang báo cáo các ước lượng phương sai nhỏ bị sai lệch, nhưng dường như có phương sai nhỏ, rằng anh ta có thể đang hỏi về việc lấy mẫu quan trọng tự chuẩn hóa. Xem ví dụ hay của Radford Neal về công cụ ước tính trung bình Harmonic để lấy ví dụ tốt, lấy ước tính lấy mẫu quan trọng với 0 phương sai và trả về vô nghĩa. Tôi không chắc chắn rằng điều này không bao giờ xảy ra trong lấy mẫu quan trọng thường xuyên, nhưng nó chắc chắn là hiếm.

— bắt đầu

Ngay cả khi đây không phải là ý định của OP, tôi sẽ quan tâm đến một số gợi ý về cách tìm ra khi tự bình thường hóa sẽ trở nên sai lầm khủng khiếp.

— bắt đầu

@deinst Tôi không nhận thức được quy trình tự chuẩn hóa và những cạm bẫy của nó vì vậy cảm ơn bạn vì điều này! Trong mọi trường hợp, tôi nghĩ rằng các vấn đề có thể liên quan đến các thuộc tính của sơ đồ IS của tôi vì vậy tôi muốn khám phá thêm ý tưởng này nếu bất kỳ ai trong số bạn có ý tưởng.

— Berk U.

@deinst Sơ đồ IS mà tôi đang sử dụng được thiết kế để hoạt động mà không có phân phối lấy mẫu

trong tay. Sơ đồ đầu tiên sử dụng thủ tục MCMC để mô phỏng điểm

từ phân phối phương sai bằng không

để sản xuất

g (x)

$g(x)$

M

$M$

x_{1} . . x_{M}

$x_1..x_M$

g^{*} (x) = h (x) f (x) / \int h (x) f (x) d x

$g^*(x) = h(x)f(x)/\int{h(x)f(x)dx}$ . Tiếp theo, nó sử dụng Ước tính mật độ hạt nhân trên

x_{1} . . x_{M}

$x_1..x_M$

. Với

trong tay, sau đó tôi có thể lấy mẫu

điểm mới

hình thành ước tính IS của tôi là $ \ sum {h (y_i) f (y_i) / hat {g (y_i)} $

\hat{g (x)}

$\hat{g(x)}$

\hat{g (x)}

$\hat{g(x)}$

N

$N$

y_{1} . . . y_{N}

$y_1...y_N$

— Berk U.

Sử dụng một ước tính không tham số giới thiệu tính biến thiên của một trật tự cao hơn so với biến thiên Monte Carlo, vì vậy tôi sẽ không khuyên điều đó.

— Tây An

$f$ $g$ lên đến một số liên tục bình thường không rõ, một số techiques được thảo luận trong chương 4 của cả hai trong những cuốn sách Tây An và Casella Monte Carlo phương pháp thống kê , và Giới thiệu Monte Các phương pháp với R Carlo . Tôi chắc chắn rằng Xi'an có thể giải thích chi tiết hơn về vấn đề này nhiều hơn tôi có thể, vì vậy theo một nghĩa nào đó, câu trả lời này là câu mồi.

δ = \int h (x) f (x) d x

$\delta=\int h(x)f(x)\text{d}x$

x_{1}, \dots, x_{n}

$x_1,\ldots,x_n$

g (x)

$g(x)$

\hat{δ} = \frac{\sum_{i = 1}^{n} h (x) f (x) / g (x)}{\sum_{i = 1}^{n} f (x) / g (x)} .

$\hat{\delta}=\frac{\sum_{i=1}^n h(x)f(x)/g(x)}{\sum_{i=1}^n f(x)/g(x)}.$

X / Y

$X/Y$

ω (X) = f (x) / g (X)

$\omega(X)=f(x)/g(X)$

E_{g} (\hat{δ}) \approx δ + \frac{δ {Var}_{g} (ω (X)) - {Cov}_{g} (ω (X), h (X) ω (X))}{n}

$E_g(\hat{\delta})\approx \delta + \frac{\delta \text{Var}_g(\omega(X))-\text{Cov}_g(\omega(X),h(X)\omega(X))}{n}$

{Var}_{g} (\hat{δ}) \approx \frac{{Var}_{g} (h (X) ω (X)) - 2 δ {Cov}_{g} (ω (X), h (X) ω (X)) + δ^{2} {Var}_{g} (ω (X))}{n} .

$\text{Var}_g(\hat{\delta})\approx\frac{\text{Var}_g(h(X)\omega(X))-2\delta\text{Cov}_g(\omega(X),h(X)\omega(X))+\delta^2\text{Var}_g(\omega(X))}{n}.$

$\text{Var}_g(\omega(X))$ $\text{Cov}_g(\omega(X),h(X)\omega(X))$

— deinst
nguồn

X / Y

$X/Y$

G

$G$

@BerkUstun Thủ đô G là một lỗi đánh máy nhỏ mà tôi sẽ sửa ngay. X / Y chỉ là một tỷ lệ chung của các biến ngẫu nhiên. IIRC tất cả điều này được giải thích trong Monte Carlo cuốn sách của ông Liu (cái gì đó với khoa học trong tiêu đề.)

— deinst

@deinst: Điểm tuyệt vời! Thật vậy, các thuộc tính của các phiên bản tự chuẩn hóa khá khác biệt so với các ước tính lấy mẫu quan trọng không thiên vị. Về lý thuyết, người ta sẽ cần một bộ lấy mẫu quan trọng riêng để ước tính mẫu số.

— Tây An