Làm thế nào để tạo ra một số lượng không thành công của Bernoulli liên tiếp?

Được:

1. Một đồng xu với chưa biết thiên vị $p$ (Head).
2. A thực sự tích cực $a > 0$ .

Vấn đề:

Tạo một biến thiên Bernoulli ngẫu nhiên với độ lệch $p^{a}$ .

Có ai biết cách để làm điều này không? Chẳng hạn, khi $a$ là số nguyên dương, thì người ta có thể lật đồng xu $a$ lần và xem liệu tất cả các kết quả có phải là Đầu hay không: nếu sau đó chúng phát hành '0', nếu không thì phát hành '1'. Khó khăn nằm ở chỗ $a$ không nhất thiết phải là số nguyên. Ngoài ra, nếu tôi biết xu hướng $p$ , tôi có thể xây dựng một đồng tiền khác với độ lệch mong muốn.

Chúng ta có thể giải quyết điều này thông qua một vài "thủ thuật" và một chút toán học.

Đây là thuật toán cơ bản:

1. Tạo một biến ngẫu nhiên hình học với xác suất thành công $p$ .
2. Kết quả của biến ngẫu nhiên này xác định một giá trị đã biết cố định $f_n \in [0,1]$ .
3. Tạo một biến ngẫu nhiên $\mathrm{Ber}(f_n)$ bằng cách sử dụng các đồng xu công bằng được tạo từ các lần lật theo cặp của đồng tiền của chúng tôi $\mathrm{Ber}(p)$.
4. Kết quả cuối cùng sẽ là $\mathrm{Ber}(p^a)$ cho bất kỳ $a \in (0,1)$ , đó là tất cả những gì chúng ta cần.

Để làm cho mọi thứ dễ tiêu hóa hơn, chúng tôi sẽ chia mọi thứ thành từng mảnh.

Mảnh 1 : Không mất tính tổng quát giả sử rằng $0 < a < 1$ .

Nếu , thì chúng ta có thể viết p a = p n p b cho một số nguyên dương n và một số 0 ≤ b < 1 . Nhưng, đối với bất kỳ hai Bernoulli's độc lập nào, chúng ta có P ( X 1 = X 2 = 1 ) = p $a \geq 1$$p^a = p^n p^b$$n$$0 \leq b < 1$ Chúng ta có thể tạo ra một p n Bernoulli từ đồng xu của chúng tôi theo cách rõ ràng. Do đó, chúng ta chỉ cần quan tâm mình với tạo ra B e r ( p một ) khi một ∈ ( 0 , 1 ) .

$$\renewcommand{\Pr}{\mathbb P} \Pr(X_1 = X_2 = 1) = p_1 p_2 \>.$$ $p^n$$\mathrm{Ber}(p^a)$$a \in (0,1)$

Phần 2 : Biết cách tạo tùy ý từ các lần lật đồng xu công bằng.$\mathrm{Ber}(q)$

Có một cách tiêu chuẩn để làm điều này. Mở rộng trong việc mở rộng nhị phân của nó và sau đó sử dụng đồng tiền hợp lý của chúng tôi flips để "phù hợp" các chữ số của q . Trận đấu đầu tiên xác định xem chúng tôi tuyên bố thành công ("người đứng đầu") hay thất bại ("đuôi"). Nếu q n = 1 và lật đồng xu của chúng tôi là đầu, hãy khai báo các đầu, nếu q n = 0 và lật đồng xu của chúng tôi là đuôi, hãy khai báo đuôi. Nếu không, hãy xem xét các chữ số tiếp theo chống lại một đồng xu mới.$q = 0.q_1 q_2 q_3 \ldots$$q$$q_n = 1$$q_n = 0$

Phần 3 : Biết cách tạo ra một đồng xu lật từ những người không công bằng với sự thiên vị không xác định.

Này được thực hiện, giả sử , bằng cách lật đồng xu theo cặp. Nếu chúng ta có H T , hãy khai báo một cái đầu; nếu chúng ta nhận được T H , hãy khai báo một đuôi và nếu không thì lặp lại thí nghiệm cho đến khi một trong hai kết quả đã nói ở trên xảy ra. Họ đều có thể xảy ra, vì vậy phải có xác suất 1 / 2 .$p \in (0,1)$$HT$$TH$$1/2$

Mảnh 4 : Một số toán học. (Taylor đến giải cứu.)

Bằng cách mở rộng quanh p 0 = 1 , định lý của Taylor khẳng định rằng p a = 1 - a ( 1 - p ) - a ( 1 - a $h(p) = p^a$$p_0 = 1$ Lưu ý rằng vì 0 < a < 1 , mỗi số hạng sau số đầu tiên làâmnên chúng ta có p a = 1 - ∞ ∑ n = 1 b n ( 1 -

$$p^a = 1 - a(1-p) - \frac{a(1-a)}{2!} (1-p)^2 - \frac{a(1-a)(2-a)}{3!} (1-p)^3 \cdots \>.$$ $0 < a < 1$ Nơi 0 ≤ b n ≤ 1 được biết đếnmột tiên nghiệm. Do đó 1 - p a = ∞ ∑ n = 1 b n ( 1 - p ) n = ∞ ∑ n = 1 b n P ( G ≥ n ) = ∞ ∑ n = 1 f n P ( G = n ) = $$p^a = 1 - \sum_{n=1}^\infty b_n (1-p)^n \>,$$ $0 \leq b_n \leq 1$ trong đó G ∼ G e o m ( p ) , f 0 = 0 và f n = ∑ n k = 1 b k với n ≥ 1 . $$1 - p^a = \sum_{n=1}^{\infty} b_n (1-p)^n = \sum_{n=1}^\infty b_n \Pr(G \geq n) = \sum_{n=1}^\infty f_n \Pr(G = n) = \mathbb E f(G),$$ $G \sim \mathrm{Geom}(p)$$f_0 = 0$$f_n = \sum_{k=1}^n b_k$$n \geq 1$

Và, chúng tôi đã biết cách sử dụng đồng tiền của mình để tạo biến ngẫu nhiên Hình học với xác suất thành công .$p$

Mảnh 5 : Một trò lừa Monte Carlo.

Đặt là biến ngẫu nhiên rời rạc lấy các giá trị trong [ 0 , 1 ] với P ( X = x n ) = p n . Đặt U ∣ X ∼ B e r ( X ) . Sau đó, P ( U = 1 ) = Σ n x n p n$X$$[0,1]$$\Pr(X = x_n) = p_n$$U \mid X \sim \mathrm{Ber}(X)$

$$\Pr(U = 1) = \sum_n x_n p_n.$$

Nhưng, lấy và x n = f n , bây giờ chúng ta thấy cách tạo biến ngẫu nhiên B e r ( 1 - p a ) và điều này tương đương với việc tạo ra B e r ( p a ) một.$p_n = p(1-p)^n$$x_n = f_n$$\mathrm{Ber}(1-p^a)$$\mathrm{Ber}(p^a)$

Là câu trả lời sau đây ngớ ngẩn?

Nếu là độc lập B e r ( p ) và Y n có phân phối B e r ( ( Σ n i = 1 X i / n ) một ) , sau đó Y n sẽ được xấp xỉ phân phối như B e r ( p một ) , khi n → $X_1,\dots,X_n$$\mathrm{Ber}(p)$$Y_n$$\mathrm{Ber}\left(\left(\sum_{i=1}^n X_i/n \right)^a\right)$$Y_n$$\mathrm{Ber}(p^a)$$n\to\infty$ .

Do đó, nếu bạn không biết , nhưng bạn có thể ném đồng xu này rất nhiều lần, có thể lấy mẫu (xấp xỉ) từ B e r ( p a$p$$\mathrm{Ber}(p^a)$ biến ngẫu nhiên .

RMã ví dụ :

n <- 1000000
p <- 1/3 # works for any 0 <= p <= 1
a <- 4
x <- rbinom(n, 1, p)
y <- rbinom(n, 1, mean(x)^a)
cat("p^a =", p^a, "\n")
cat("est =", mean(y))

Các kết quả:

p^a = 0.01234568 
est = 0.012291 

Tôi đã đăng bài giải thích sau đây về câu hỏi này và câu trả lời của hồng y lên diễn đàn thảo luận chung của lớp Kết hợp phân tích hiện tại trên Coursera, "Ứng dụng chuỗi sức mạnh để xây dựng một biến ngẫu nhiên." Tôi đang đăng một bản sao ở đây dưới dạng wiki cộng đồng để làm cho nó công khai và có sẵn lâu dài hơn.

---

Có một câu hỏi và câu trả lời thú vị trên stat.stackexchange.com liên quan đến chuỗi quyền lực: "Làm thế nào để tạo ra số lượng không thành công của Bernoulli liên tiếp?"Tôi sẽ diễn giải câu hỏi và câu trả lời của hồng y.

$p$$\alpha$$p^\alpha$ ?

$\alpha$$\alpha$$\alpha$$1/2$$0 \lt \alpha \lt 1$$p^{3.5}$$p^3$$p^{0.5}$

$p' \in [0,1]$. To do this, we can construct a stream of fair bits by repeatedly flipping the coin twice, reading $HT$ as $1$ and $TH$ as $0$, and ignoring $HH$ and $TT$. We compare this stream with the binary expansion of $p' = 0.a_1a_2a_3..._2$. The event that the first disagreement is where $a_i=1$ has probability $p'$. We don't know $p^\alpha$, so we can't use this directly, but it will be a useful tool.

The main idea is that we would like to use the power series for $p^\alpha = (1-q)^\alpha = 1 - \alpha q - \frac{\alpha(1-\alpha)}{2} q^2 - \frac{\alpha (1-\alpha)(2-\alpha)}{3!}q^3 -...$ where $p=1-q$. We can construct events whose probabilities are $q^n$ by flipping the coin $n$ times and seeing if they are all tails, and we can produce an event with probability $p' q^n$ by comparing the binary digits of $p'$ with a fair bit stream as above and checking whether $n$ tosses are all tails.

Construct a geometric random variable $G$ with parameter $p$. This is the number of tails before the first head in an infinite sequence of coin tosses. $P(G=n) = (1-p)^np = q^n p$. (Some people use a definition which differs by $1$.)

Given a sequence $t_0, t_1, t_2, ...$, we can produce $t_G$: Flip the coin until the first head, and if there are $G$ tails before the first head, take the element of the sequence of index $G$. If each $t_n \in [0,1]$, we can compare $t_G$ with a uniform random variable in $[0,1]$ (constructed as above) to get an event with probability $E[t_G] = \sum_n t_n P(G=n) = \sum_n t_n q^n p$.

This is almost what we need. We would like to eliminate that $p$ to use the power series for $p^\alpha$ in $q$.

$$1 = p + qp + q^2p + q^3p + ...$$

$$q^n = q^np + q^{n+1}p + q^{n+2}p + ...$$

$$\begin{eqnarray} \sum_n s_n q^n & = & \sum_n s_n (q^n p + q^{n+1}p + q^{n+2}p + ...) \newline & = & \sum_n (s_0 + s_1 + ... + s_n) q^n p \end{eqnarray}$$

Consider $1-p^\alpha = \alpha q + \frac{\alpha(1-\alpha)}{2} q^2 + ...$. Let $t_n$ be the sum of the coefficients of $q$ through $q^n$. Then $1-p^\alpha = \sum_n t_n q^n p$. Each $t_n\in [0,1]$ since the coefficients are positive and sum to $1-0^\alpha = 1$, so we can construct an event with probability $1-p^\alpha$ by comparing a fair bit stream with the binary expansion of $t_G$. The complement has probability $p^\alpha$ as required.

---

Again, the argument is due to cardinal.

The very complete answer by cardinal and subsequent contributions inspired the following remark/variant.

Let PZ stand "Probability of Zero" and $q:=1-p$. If $X_n$ is an iid Bernoulli sequence with PZ $q$, then $M_n := \max(X_1,\,X_2,\,\dots, X_n)$ is a Bernoulli r.v. with PZ $q^n$. Now making $n$ random i.e., replacing it by an integer rv $N \geq 1$ leads to Bernoulli rv $M_N$ with

$$\mathrm{Pr}\{M_N =0\} = \sum_{n=1}^\infty \mathrm{Pr}\{M_N =0 \,\vert\, N =n\} \mathrm{Pr}\{N =n\} = \sum_{n=1}^\infty \mathrm{Pr}\{N =n\} \, q^n.$$ So if $0 < a < 1$ and if we take $\mathrm{Pr}\{N =n\} =b_n$ from cardinal's answer, we find $\mathrm{Pr}\{M_N =0\} = 1- p^a$ and $1-M_N$ is $\mathrm{Ber}(p^a)$ as wanted. This is indeed possible since the coefficients $b_n$ satisfy $b_n \geqslant 0$ and they sum to $1$.

The discrete distribution of $N$ depends only on $a$ with $0 < a < 1$, recall

$$\mathrm{Pr}\{N =n\} = \frac{a}{n}\,\prod_{k=1}^{n-1}\left(1 - a/k\right) \qquad (n \geq 1).$$ It has interesting features. It turns out to have an infinite expectation and an heavy tail behaviour $n \,b_n \sim c/n^a$ with $c = -1/\Gamma(-a) >0$.

Though $M_N$ is the maximum of $N$ rvs, its determination needs a number of $X_k$ which is $\leq N$ since the result is known as soon as one $X_k$ is $1$. The number of computed $X_k$ is geometrically distributed.