Là từ chối lấy mẫu là cách duy nhất để có được một phân phối ngẫu nhiên thực sự thống nhất của các số ngẫu nhiên?

Giả sử rằng chúng ta có một trình tạo ngẫu nhiên xuất ra các số trong phạm vi với phân phối đồng đều và chúng ta cần tạo các số ngẫu nhiên trong phạm vi với phân phối đồng đều.[ 0 .. N - 1 $[0..R-1]$$[0..N-1]$

Giả sử và không chia đều ; để có được phân phối đồng đều thực sự, chúng ta có thể sử dụng phương pháp lấy mẫu từ chối :N $N < R$$N$$R$

• nếu là số nguyên lớn nhất sao chok N < $k$$k N < R$
• chọn một số ngẫu nhiên trong[ 0 .. R - 1 $r$$[0..R-1]$
• nếu thì xuất ra , nếu không thì hãy thử với các số ngẫu nhiên khác r ', r ", ... cho đến khi điều kiện được đáp ứng$r < k N$$r \mod N$

Là từ chối lấy mẫu là cách duy nhất để có được một phân phối rời rạc thực sự thống nhất?

Nếu câu trả lời là có, tại sao?

Lưu ý: nếu thì ý tưởng là như nhau: tạo số ngẫu nhiên trong , ví dụ trong đó là một số ngẫu nhiên trong phạm vir ' [ 0 .. R m - 1 ] , R m > = N r ' = R ( . . . R ( R r 1 + r 2 ) . . . ) + R m r i [ 0 .. R - 1 $N > R$$r'$$[0..R^m-1], R^m >= N$$r' = R(...R(R r_1 + r_2)...)+r_m$$r_i$$[0..R-1]$

Có và không, tùy thuộc vào ý của bạn bởi cách mà thôi. Có, trong đó không có phương pháp nào được đảm bảo chấm dứt, cách tốt nhất bạn có thể làm (đối với các giá trị chung của và ) là một thuật toán kết thúc với xác suất 1. Không, trong đó bạn có thể làm cho chất thải của Thiêu là nhỏ như bạn thích$N$$R$

Tại sao nói chung chấm dứt bảo đảm là không thể

Giả sử rằng bạn có một động cơ tính toán xác định (một máy Turing hay bất cứ điều gì nổi thuyền của bạn), cộng với một lời sấm mà tạo ra các yếu tố ngẫu nhiên của bộ -element . Mục tiêu của bạn là tạo ra một phần tử của tập -element . Đầu ra của động cơ của bạn chỉ phụ thuộc vào chuỗi các giá trị được trả về bởi nhà tiên tri; đó là một hàm của chuỗi có khả năng vô hạn đó .[ 0 .. R - 1 ] N [ 0 , N - 1 ] f ( r 0 , r 1 , r 2 , Lối $R$$[0..R-1]$$N$$[0,N-1]$$f$$(r_0, r_1, r_2, \ldots)$

Giả sử rằng động cơ của bạn gọi nhà tiên tri nhiều nhất là lần. Có thể có dấu vết mà nhà tiên tri được gọi ít hơn lần; nếu vậy, việc gọi orory thêm lần để nó luôn được gọi chính xác là lần không làm thay đổi đầu ra. Vì vậy, không mất tính tổng quát, chúng tôi giả định rằng nhà tiên tri được gọi chính xác là lần. Khi đó xác suất của kết quả là số lượng chuỗi sao cho . Vì nhà tiên tri là một máy phát ngẫu nhiên đồng nhất, mỗi chuỗi có thể được trang bị và có xác suất . Do đó xác suất của mỗi kết quả có dạngm m m x ( r 0 , ... , r m - 1 ) f ( r 0 , ... , r m - 1 ) = x 1 / R m Một / R m Một 0 R $m$$m$$m$$m$$x$$(r_0, \ldots, r_{m-1})$$f(r_0, \ldots, r_{m-1}) = x$$1/R^m$$A/R^m$Trong đó là một số nguyên nằm trong khoảng từ đến .$A$$0$$R^m$

Nếu chia cho một số , thì bạn có thể tạo phân phối đồng đều trên phần tử bằng cách gọi bộ tạo ngẫu nhiên lần (điều này được để lại như một bài tập cho người đọc). Nếu không, điều này là không thể: không có cách nào để có được một kết quả với xác suất . Lưu ý rằng điều kiện này tương đương với việc nói rằng tất cả các yếu tố chính của cũng là các yếu tố của (điều này dễ dàng hơn so với những gì bạn đã viết trong câu hỏi của mình; ví dụ: bạn có thể chọn một yếu tố ngẫu nhiên trong số 4 với hội chợ 6 mặt chết, mặc dù 4 không chia 6).R m m N m 1 / N N $N$$R^m$$m$$N$$m$$1/N$$N$$R$

Giảm chất thải

Trong chiến lược của bạn, khi , bạn không phải vẽ lại ngay lập tức. Theo trực giác, có một chút entropy còn lại trong mà bạn có thể giữ trong hỗn hợp.[ $r \ge k\,N$$[k\,N .. R-1]$

Giả sử trong một khoảnh khắc rằng trên thực tế bạn sẽ tiếp tục tạo các số ngẫu nhiên dưới mãi mãi và bạn tạo ra của chúng tại một thời điểm bằng cách thực hiện rút thăm . Nếu bạn thực hiện lấy mẫu từ chối đơn giản trên thế hệ được nhóm này, chất thải trên rút ra là , tức là phần còn lại chia cho số lần rút. Điều này có thể ít như . Khi và là nguyên tố cùng nhau, bạn có thể làm cho chất thải nhỏ tùy ý bằng cách chọn các giá trị đủ lớn của . Đối với các giá trị chung của vàu d d R d - $N$$u$$d$$d$ RdmodNugcd(R,N$\dfrac{R^d - k\,N^u}{d}$$R^d \mathbin{\mathrm{mod}} N^u$$\gcd(R,N)$N $R$$N$$d$N gcd ( R , N ) N / gcd ( R , N $R$$N$, việc tính toán phức tạp hơn vì bạn cần tính đến việc tạo và một cách riêng biệt, nhưng một lần nữa bạn có thể tạo ra chất thải nhỏ tùy ý với các nhóm đủ lớn.$\gcd(R,N)$$N/\gcd(R,N)$

Trong thực tế, ngay cả với các số ngẫu nhiên tương đối không hiệu quả (ví dụ như trong mật mã học), hiếm khi làm bất cứ điều gì ngoại trừ lấy mẫu từ chối đơn giản, trừ khi nhỏ. Ví dụ, trong mật mã học, trong đó thường có công suất 2 và thường là hàng trăm hoặc hàng nghìn bit, việc tạo số ngẫu nhiên thống nhất thường được tiến hành bằng cách lấy mẫu từ chối thẳng trong phạm vi mong muốn.R $N$$R$$N$

Định lý mã hóa nguồn của Shannon cho thấy, trong một số ý nghĩa chính xác, bạn cần mẫu (trung bình) của loại để tạo số ngẫu nhiên của loại . Chính xác hơn, Shannon đưa ra thuật toán (không hiệu quả) đưa ra mẫu của loại thứ nhất, đưa ra các mẫu của loại thứ hai, với xác suất cao. Ông cũng chỉ ra rằng việc xuất ra các mẫu với xác suất cao là không thể.[ 0 , ... , R - 1 ] [ 0 , ... , N - 1 ] m m ( log N / log R - ε ) m ( log N / log R + ε $\log N/\log R$$[0,\ldots,R-1]$$[0,\ldots,N-1]$$m$$m(\log N/\log R - \epsilon)$$m(\log N/\log R + \epsilon)$

Định lý của Shannon cũng hoạt động trong trường hợp tổng quát hơn về phân phối đầu vào bị lệch (và có lẽ cũng phân phối đầu ra bị lệch). Trong trường hợp đó, bạn cần thay thế logarit bằng entropy. Mặc dù thuật toán được đưa ra bởi định lý được xác định ngẫu nhiên, trong một số trường hợp có thể giải mã nó (với chi phí hiệu năng kém hơn một chút).

Trên thực tế, không, lấy mẫu từ chối là cách duy nhất để tiến hành. Thật không may, vì các máy tính lưu trữ tất cả thông tin dưới dạng bit và do đó chỉ có thể thao tác các bit thông tin ngẫu nhiên, bất kỳ thuật toán nào để vẽ một biến ngẫu nhiên thống nhất của phạm vi sẽ là vô hạn, nếu sự phát triển cơ sở nhị phân của là vô hạn.$N$$N$

Định lý này là kết quả cổ điển của Knuth và Yao (1976), người đã phát triển khuôn khổ của cây DDG (cây tạo phân phối rời rạc).

Các phương pháp được Gilles trưng bày là loại điều điển hình đã được thực hiện để giảm thiểu chất thải phát sinh do từ chối, nhưng tất nhiên nếu người ta có thể tạo ra theo cây Knuth và Yao thì hiệu quả hơn nhiều - trung bình 96% bit ngẫu nhiên được lưu.

Tôi đã cung cấp thêm thông tin về điều này trong bài CStheory sau đây .