Ưu điểm của Box-Muller so với phương pháp CDF nghịch đảo để mô phỏng phân phối chuẩn?

Để mô phỏng phân phối bình thường từ một tập hợp các biến thống nhất, có một số kỹ thuật:

Thuật toán Box-Muller , trong đó một mẫu lấy hai đồng phục độc lập thay đổi trên và biến chúng thành hai phân phối chuẩn thông thường độc lập thông qua: $(0,1)$
$Z_{0} = \sqrt{- 2 ln U_{1}} cos (2 π U_{0}) Z_{1} = \sqrt{- 2 ln U_{1}} sin (2 π U_{0})$ $Z_0 = \sqrt{-2\text{ln}U_1}\text{cos}(2\pi U_0)\\ Z_1 = \sqrt{-2\text{ln}U_1}\text{sin}(2\pi U_0)$
phương pháp CDF , trong đó người ta có thể đánh đồng cdf bình thường với phương sai Đồng nhất: và suy ra $(F(Z))$
$F (Z) = U$ $F(Z) = U$ $Z = F^{- 1} (U)$ $Z = F^{-1}(U)$

Câu hỏi của tôi là: tính toán nào hiệu quả hơn? Tôi sẽ nghĩ đó là phương pháp sau - nhưng hầu hết các bài báo tôi đọc đều sử dụng Box-Muller - tại sao?

Thông tin thêm:

Nghịch đảo của CDF bình thường được biết và đưa ra bởi:

F^{- 1} (Z) = \sqrt{2} \erf^{- 1} (2 Z - 1), Z \in (0, 1) .

$F^{-1}(Z)\; =\; \sqrt2\;\operatorname{erf}^{-1}(2Z - 1), \quad Z\in(0,1).$

Do đó:

Z = F^{- 1} (U) = \sqrt{2} \erf^{- 1} (2 U - 1), U \in (0, 1) .

$Z = F^{-1}(U)\; =\; \sqrt2\;\operatorname{erf}^{-1}(2U - 1), \quad U\in(0,1).$

normal-distribution simulation uniform

— người dùng2350366
nguồn

Điều gì là nghịch đảo của cdf bình thường? Nó không thể được tính toán một cách phân tích, chỉ khi CDF ban đầu được tính gần đúng với hàm tuyến tính từng phần.

— Artem Sobolev

Hai người có liên quan mật thiết với nhau không? Box Muller, tôi tin rằng, là một trường hợp cụ thể cho thế hệ 2 biến.

— ttnphns

Xin chào Barmaley, tôi đã thêm một số thông tin ở trên. CDF nghịch đảo có biểu thức - tuy nhiên

phải được tính toán - vì vậy đó có thể là lý do tại sao hộp Muller được ưa thích? Tôi giả sử

sẽ được tính trong các bảng tra cứu, giống như các giá trị của

và

là? Do đó không đắt hơn nhiều tính toán? Tôi có thể sai tuy nhiên.

{erf}^{- 1}

$\text{erf}^{-1}$

{erf}^{1}

$\text{erf}^1$

sin

$\text{sin}$

cosine

$\text{cosine}$

— dùng2350366

Có các phiên bản của Box-Muller không có tội lỗi và cosin.

— Tây An

@Dilip Đối với các ứng dụng có độ chính xác rất thấp, chẳng hạn như đồ họa máy tính, sin và cosine thực sự có thể được tối ưu hóa bằng cách sử dụng các bảng tra cứu phù hợp. Tuy nhiên, đối với các ứng dụng thống kê, tối ưu hóa như vậy không bao giờ được sử dụng. Cuối cùng, việc tính toán

không thực sự khó hơn so với

hay

, nhưng trên các hệ thống máy tính hiện đại, các chức năng cơ bản liên quan đến

- bao gồm các hàm trig - có xu hướng được tối ưu hóa (

và

là các hướng dẫn cơ bản trở lại trên Intel Chip 8087!), Trong khi erf không có sẵn hoặc đã được mã hóa ở mức cao hơn (= chậm hơn).

{erf}^{- 1}

$\text{erf}^{-1}$

\log

$\log$

sqrt

$\text{sqrt}$

\exp

$\exp$

\cos

$\cos$

\log

$\log$

— whuber

Từ quan điểm xác suất hoàn toàn, cả hai cách tiếp cận đều đúng và do đó tương đương nhau. Từ góc độ thuật toán, việc so sánh phải xem xét cả độ chính xác và chi phí tính toán.

Box-Muller phụ thuộc vào một máy phát đồng nhất và có giá tương đương với máy phát đồng nhất này. Như đã đề cập trong nhận xét của tôi, bạn có thể thoát khỏi mà không cần các cuộc gọi sin hoặc cos, nếu không không có logarit:

tạo cho đến khi $U_{1}, U_{2} \overset{iid}{\sim} U (- 1, 1)$ $U_1,U_2\stackrel{\text{iid}}{\sim}\mathcal{U}(-1,1)$ $S=U_1^2+U_2^2\le 1$
lấy và xác định $Z=\sqrt{-2\log(S)/S}$ $X_{1} = Z U_{1}, X_{2} = Z U_{2}$ $X_1=ZU_1\,,\ X_2=Z U_2$

Thuật toán đảo ngược chung yêu cầu gọi tới cdf bình thường nghịch đảo, ví dụ qnorm(runif(N))trong R, có thể tốn kém hơn so với ở trên và quan trọng hơn là có thể thất bại về mặt chính xác, trừ khi hàm lượng tử được mã hóa tốt.

Để theo dõi các bình luận được thực hiện bởi whuber , việc so sánh rnorm(N)và qnorm(runif(N))là lợi thế của cdf nghịch đảo, cả về thời gian thực hiện:

> system.time(qnorm(runif(10^8)))
sutilisateur     système      écoulé
 10.137           0.120      10.251 
> system.time(rnorm(10^8))
utilisateur     système      écoulé
 13.417           0.060      13.472` `

và về mặt phù hợp ở đuôi: nhập mô tả hình ảnh ở đây

Theo một bình luận của Radford Neal trên blog của tôi , tôi muốn chỉ ra rằng mặc định rnormtrong R sử dụng phương thức đảo ngược, do đó so sánh trên là phản ánh trên giao diện chứ không phải trên chính phương thức mô phỏng! Để trích dẫn tài liệu R về RNG:

‘normal.kind’ can be ‘"Kinderman-Ramage"’, ‘"Buggy
 Kinderman-Ramage"’ (not for ‘set.seed’), ‘"Ahrens-Dieter"’,
 ‘"Box-Muller"’, ‘"Inversion"’ (the default), or ‘"user-supplied"’.
 (For inversion, see the reference in ‘qnorm’.)  The
 Kinderman-Ramage generator used in versions prior to 1.7.1 (now
 called ‘"Buggy"’) had several approximation errors and should only
 be used for reproduction of old results.  The ‘"Box-Muller"’
 generator is stateful as pairs of normals are generated and
 returned sequentially.  The state is reset whenever it is selected
 (even if it is the current normal generator) and when ‘kind’ is
 changed.

— Tây An
nguồn

\log

$\log$

\sqrt{}

$\sqrt{}$

Φ^{- 1}

$\Phi^{-1}$

Φ^{- 1}

$\Phi^{-1}$

X_{1}

$X_1$

X_{2}

$X_2$

U_{i}

$U_i$

- 1

$-1$

1

$1$

0

$0$

1

$1$

R 3.0.2rowSums

S

$S$ qnorm(runif(N))InverseCDF[NormalDistribution[], #] &

Tôi đồng ý, qnorm(runif(N))thậm chí còn nhanh hơn 20% so vớirnorm(N)

— Xi'an

Φ^{- 1}

$\Phi^{-1}$

\sin

$\sin$

\cos

$\cos$

Để so sánh, sử dụng i7-3740QM @ 2.7Ghz và R 3.12, cho các cuộc gọi sau:

RNGkind(kind = NULL, normal.kind = 'Inversion');At <- microbenchmark(A <- rnorm(1e5, 0, 1), times = 100L);RNGkind(kind = NULL, normal.kind = 'Box-Muller');Bt <- microbenchmark(B <- rnorm(1e5, 0, 1), times = 100L)

Tôi nhận được mean 11.38363 median 11.18718đảo ngược và mean 13.00401 median 12.48802cho Box-Muller

— Avraham