Giá trị của Worm và Apple

8

Một quả táo được đặt tại đỉnh $A$ của hình ngũ giác $ABCDE$ , và một con sâu nằm hai đỉnh đi, tại $C$ . Mỗi ngày con sâu bò với xác suất bằng nhau với một trong hai đỉnh liền kề. Như vậy sau một ngày sâu là tại đỉnh $B$ hoặc $D$ , mỗi với xác suất $1/2$ . Sau hai ngày, con sâu có thể trở lại $C$ một lần nữa, vì nó không có bộ nhớ của các vị trí trước đó. Khi nó đạt đến đỉnh $A$ , nó dừng lại để ăn.

(a) Ý nghĩa của số ngày cho đến bữa tối là gì?

(b) Gọi p là xác suất số ngày từ $100$ trở lên. Bất bình đẳng của Markov nói gì về $p$ ?

Với (a), gọi $X$ là biến ngẫu nhiên được xác định bởi số ngày cho đến bữa tối. Vậy

P (X = 0) = 0 P (X = 1) = 0 P (X = 2) = \frac{1}{(\binom{5}{2})} ⋮

$P(X = 0) = 0 \\ P(X=1) = 0 \\ P(X=2) = \frac{1}{\binom{5}{2}} \\ \vdots$

Điều gì sẽ là phân phối chung?

Với (b), nếu chúng ta biết (a), thì chúng ta biết rằng

P (X \geq 100) \leq \frac{E (X)}{100}

$P(X \geq 100) \leq \frac{E(X)}{100}$

probability markov-process

— probguy3434
nguồn

2

Bạn có thể giải thích bộ phương trình đầu tiên của bạn? Chúng dường như không tính đến khả năng con sâu đảo ngược hướng, cũng không có vẻ đúng. Rốt cuộc, ít hơn nhiều so với cơ hội của đường dẫn có xác suất Lưu ý rằng điểm của câu hỏi này là có thể khó có được phân phối đầy đủ hơn là tính toán kỳ vọng của nó; và bất bình đẳng của Markov tuy nhiên cho phép bạn suy luận thông tin hữu ích từ sự mong đợi một mình.

1 / (\binom{5}{2}) = 1 / 10

$1/\binom{5}{2}=1/10$

A \to B \to C

$A\to B\to C$

(1 / 2) (1 / 2) = 1 / 4.

$(1/2)(1/2)=1/4.$

— whuber

6

Trong câu trả lời xuất sắc của Glen_b , ông cho thấy rằng bạn có thể tính toán giá trị mong đợi một cách phân tích bằng cách sử dụng một hệ phương trình tuyến tính đơn giản. Theo phương pháp phân tích này, bạn có thể xác định rằng số lần di chuyển dự kiến đến quả táo là sáu. Một câu trả lời xuất sắc khác của whuber cho thấy cách lấy hàm khối xác suất cho quá trình sau bất kỳ số lần di chuyển nhất định nào và phương pháp này cũng có thể được sử dụng để thu được giải pháp phân tích cho giá trị mong đợi. Nếu bạn muốn thấy một số hiểu biết sâu sắc hơn về vấn đề này, bạn nên đọc một số bài viết về các bước đi ngẫu nhiên vòng tròn (xem ví dụ, Stephens 1963 )

Để đưa ra một cái nhìn khác về vấn đề, tôi sẽ chỉ cho bạn cách bạn có thể nhận được kết quả tương tự bằng phương pháp vũ phu chỉ tính toán chuỗi Markov bằng tính toán thống kê. Phương pháp này kém hơn so với kiểm tra phân tích ở nhiều khía cạnh, nhưng nó có ưu điểm là cho phép bạn giải quyết vấn đề mà không cần bất kỳ hiểu biết toán học lớn nào.

Phương pháp tính toán lực mạnh: Lấy các trạng thái theo thứ tự , chuỗi chuyển đổi Markov của bạn theo ma trận chuyển tiếp sau: $A,B,C,D,E$

P = [\begin{matrix} 1 & 0 & 0 & 0 & 0 \\ \frac{1}{2} & 0 & \frac{1}{2} & 0 & 0 \\ 0 & \frac{1}{2} & 0 & \frac{1}{2} & 0 \\ 0 & 0 & \frac{1}{2} & 0 & \frac{1}{2} \\ \frac{1}{2} & 0 & 0 & \frac{1}{2} & 0 \end{matrix}]

$\mathbf{P} = \begin{bmatrix} 1 & 0 & 0 & 0 & 0 \\[6pt] \tfrac{1}{2} & 0 & \tfrac{1}{2} & 0 & 0 \\[6pt] 0 & \tfrac{1}{2} & 0 & \tfrac{1}{2} & 0 \\[6pt] 0 & 0 & \tfrac{1}{2} & 0 & \tfrac{1}{2} \\[6pt] \tfrac{1}{2} & 0 & 0 & \tfrac{1}{2} & 0 \\[6pt] \end{bmatrix}$

Trạng thái đầu tiên là trạng thái hấp thụ nơi sâu nằm ở quả táo. Hãy là số lần di chuyển cho đến khi giun được cho táo từ trạng thái . Sau đó, với tất cả xác suất con sâu ở táo sau số lần di chuyển này là và do đó, số lần di chuyển dự kiến để đến táo từ trạng thái này là: $A$ $T_C$ $C$ $n \in \mathbb{N}$ $\mathbb{P}(T_C \leqslant n) = \{ \mathbf{P}^n \}_{C,A}$

E (T_{C}) = = Σ_{n = = 0}^{\infty} P (T_{C} > n) = = Σ_{n = = 0}^{\infty} (1 - {P^{n}}_{C, Một}) .

$\mathbb{E}(T_C) = \sum_{n=0}^\infty \mathbb{P}(T_C > n) = \sum_{n=0}^\infty (1-\{ \mathbf{P}^n \}_{C,A}).$

Các thuật ngữ trong tổng giảm theo cấp số nhân của lớn, do đó chúng tôi có thể tính giá trị mong đợi với bất kỳ mức độ chính xác mong muốn nào bằng cách cắt tổng số tại một số lượng hữu hạn của các điều khoản. . $n$

Lập trình cái này trong R: Bạn có thể lập trình cái này như một hàm trong Rviệc sử dụng mã bên dưới. Mã này đã được véc tơ hóa để tạo ra một loạt các quyền hạn của ma trận chuyển tiếp cho một chuỗi di chuyển hữu hạn. Chúng tôi cũng tạo ra một âm mưu xác suất mà quả táo chưa đạt được, cho thấy điều này giảm theo cấp số nhân.

#Create function to give n-step transition matrix for n = 1,...,N
#N is the last value of n
PROB <- function(N) { P <- matrix(c(1, 0, 0, 0, 0, 
                                    1/2, 0, 1/2, 0, 0, 
                                    0, 1/2, 0, 1/2, 0,
                                    0, 0, 1/2, 0, 1/2,
                                    1/2, 0, 0, 1/2, 0),
                                  nrow = 5, ncol = 5, 
                                  byrow = TRUE);
                      PPP <- array(0, dim = c(5,5,N));
                      PPP[,,1] <- P;
                      for (n in 2:N) { PPP[,,n] <- PPP[,,n-1] %*% P; } 
                      PPP }

#Calculate probabilities of reaching apple for n = 1,...,100
N  <- 100;
DF <- data.frame(Probability = PROB(N)[3,1,], Moves = 1:N);

#Plot probability of not having reached apple
library(ggplot2);
FIGURE <- ggplot(DF, aes(x = Moves, y = 1-Probability)) +
          geom_point() +
          scale_y_log10(breaks = scales::trans_breaks("log10", function(x) 10^x),
                        labels = scales::trans_format("log10", 
                                 scales::math_format(10^.x))) +
          ggtitle('Probability that worm has not reached apple') +
          xlab('Number of Moves') + ylab('Probability');
FIGURE;

#Calculate expected number of moves to get to apple
#Calculation truncates the infinite sum at N = 100
#We add one to represent the term for n = 0
EXP <- 1 + sum(1-DF$Probability);
EXP;

[1] 6

Như bạn có thể thấy từ tính toán này, số lần di chuyển dự kiến để đến quả táo là sáu. Tính toán này cực kỳ nhanh chóng bằng cách sử dụng mã véc tơ ở trên cho chuỗi Markov.

— Ben - Phục hồi Monica
nguồn

5

Chỉ muốn minh họa một cách đơn giản để xem phần (a) mà không cần thông qua tất cả các thói quen chuỗi Markov. Có hai loại trạng thái phải lo lắng: cách một bước và cách hai bước (C và D giống hệt nhau về các bước dự kiến cho đến khi đạt A và B và E giống hệt nhau). Đặt " " đại diện cho số bước cần thực hiện từ đỉnh , v.v. $S_B$ $B$

$E(S_C) = 1+\frac12[E(S_B)+E(S_D)] = 1+ \frac12[E(S_B)+E(S_C)]$

Tương tự viết một phương trình cho kỳ vọng cho . $E(S_B)$

Thay cái thứ hai vào cái thứ nhất (và để thuận tiện, viết cho ) và bạn có được một giải pháp cho trong một vài dòng. $c$ $E(S_C)$ $c$

— Glen_b -Reinstate Monica
nguồn

3

+1. Tôi cũng thích điều đó bằng cách thay thế các kỳ vọng bằng các hàm tạo xác suất mà bạn có được một phương trình tương tự, dễ dàng giải quyết, cho thấy pgf cho trạng thái bắt đầu bằng và điều đó dẫn đến đến một công thức đơn giản cho bất kỳ xác suất nào. Tốt hơn: gọi là số bước bắt đầu tạiXác định vàCác mối quan hệ là vàThay thế cái sau vào sản lượng trước cho Do đó, là

t^{2} / (4 - 2 t - t^{2}),

$t^2/(4-2t-t^2),$

X_{y}

$X_y$

y \in {A, B} .

$y\in\{A,B\}.$

f_{n} = 2^{n} Pr (X_{A} = n)

$f_n=2^n\Pr(X_A=n)$

g_{n} = 2^{n} Pr (X_{B} = n) .

$g_n=2^n\Pr(X_B=n).$

f_{n} = f_{n - 1} + g_{n - 1}

$f_n=f_{n-1}+g_{n-1}$

g_{n - 1} = f_{n - 2} .

$g_{n-1}=f_{n-2}.$

f_{n} = f_{n - 1} + f_{n - 2}

$f_n=f_{n-1}+f_{n-2}$

n \geq 3.

$n\ge 3.$

f_{n}

$f_n$

n - 2^{nd}

$n-2^\text{nd}$ Số Fibonacci.

— whuber

@whuber: Bạn nên biến bình luận của bạn thành một câu trả lời đầy đủ - nó thực sự tốt.

— Ben - Tái lập Monica

1

Tôi đồng ý, nó đáng để đăng như một câu trả lời, ngay cả trong hình thức ngắn gọn này.

— Glen_b -Reinstate Monica

3

Vấn đề

Chuỗi Markov này có ba trạng thái, được phân biệt bằng cách con sâu cách hoặc khoảng cách với Gọi là biến ngẫu nhiên cho biết con sâu sẽ thực hiện bao nhiêu bước để đến từ trạng thái Các hàm tạo xác suất của chúng là một cách đại số thuận tiện để mã hóa xác suất của các biến này. Đó là không cần thiết phải lo lắng về vấn đề phân tích như hội tụ: chỉ xem chúng như loạt điện chính thức trong một biểu tượng do $0,$ $1,$ $2$ $C.$ $X_i$ $C$ $i\in\{0,1,2\}.$ $t$

f_{Tôi} (t) = = Pr (X_{Tôi} = = 0) + Pr (X_{Tôi} = = 1) t^{1} + Pr (X_{Tôi} = = 2) t^{2} + \dots + Pr (X_{Tôi} = = n) t^{n} + \dots

$f_i(t) = \Pr(X_i=0) + \Pr(X_i=1)t^1 + \Pr(X_i=2)t^2 + \cdots + \Pr(X_i=n)t^n + \cdots$

Vì nên tầm thường là Chúng ta cần tìm $\Pr(X_0=0)=1,$ $f_0(t)=1.$ $f_2.$

Phân tích và giải pháp

Từ trạng thái sâu có cơ hội bình đẳng của của việc di chuyển trở lại tình trạng hoặc đạt . Kế toán để thực hiện bước này thêm vào tất cả các quyền hạn của , tương đương để nhân pgf với , cho $1,$ $1/2$ $2$ $C$ $1$ $t$ $t$

f_{1} = = \frac{1}{2} t (f_{2} + f_{0}) .

$f_1 = \frac{1}{2}t\left(f_2 + f_0\right).$

Tương tự, từ trạng thái , sâu có cơ hội như nhau ở trạng thái hoặc đạt đến trạng thái từ đó $2$ $2$ $1,$

f_{2} = = \frac{1}{2} t (f_{2} + f_{1}) .

$f_2 = \frac{1}{2}t\left(f_2 + f_1\right).$

Sự xuất hiện của cho thấy công việc của chúng tôi sẽ được thực hiện dễ dàng hơn bằng cách giới thiệu biến đưa ra $t/2$ $x=t/2,$

f_{1} (x) = = x (f_{2} (x) + f_{0} (x)); f_{2} (x) = = x (f_{2} (x) + f_{1} (x)) .

$f_1(x) = x(f_2(x) + f_0(x));\quad f_2(x) = x(f_2(x) + f_1(x)).$

Thay thế thứ nhất vào thứ hai và gọi lại cho $f_0=1$

$\begin{matrix} (*) & f_{2} (x) = = x (f_{2} (x) + x (f_{2} (x) + 1)) \end{matrix}$ $f_2(x) = x(f_2(x) + x(f_2(x) + 1))\tag{*}$

có giải pháp duy nhất là

\begin{matrix} (**) & f_{2} (x) = = \frac{x^{2}}{1 - x - x^{2}} . \end{matrix}

$f_2(x) = \frac{x^2}{1 - x - x^2}.\tag{**}$

Tôi đã nhấn mạnh phương trình để nhấn mạnh tính đơn giản cơ bản của nó và sự tương tự chính thức của nó với phương trình mà chúng ta sẽ có được bằng cách chỉ phân tích các giá trị mong đợi tế, với cùng một lượng công việc cần để tìm một số này, chúng tôi nhận được toàn bộ phân phối. $(*)$ $E[X_i]:$

Ý nghĩa và đơn giản hóa

Tương tự, khi được viết ra theo kỳ hạn và các quyền hạn của được khớp với nhau, nó khẳng định rằng với $(*)$ $t$ $n\ge 4,$

2^{n} Pr (X_{2} = = n) = = 2^{n - 1} Pr (X_{2} = = n - 1) + 2^{n - 2} Pr (X_{2} = = n - 2) .

$2^n\Pr(X_2=n) = 2^{n-1}\Pr(X_2=n-1) + 2^{n-2}\Pr(X_2=n-2).$

Đây là sự lặp lại cho chuỗi số Fibonacci nổi tiếng

(F_{n}) = = (1, 1, 2, 3, 5, số 8, 13, 21, 34, 55, 89, 144, Giáo dục)

$(F_n) = (1,1,2,3,5,8,13,21,34,55,89,144,\ldots)$

(được lập chỉ mục từ ). Kết hợp giải pháp là chuỗi này được dịch chuyển bởi hai vị trí (vì không có xác suất hoặc và thật dễ dàng để kiểm tra xem ). $n=0$ $(**)$ $X_2=0$ $X_2=1$ $2^2\Pr(X_2=2)=1=2^3\Pr(X_2=3)$

hậu quả là

$Pr (X_{2} = = n) = = 2^{- n - 2} F_{n - 2} .$ $\Pr(X_2 = n) = 2^{-n-2}F_{n-2}.$

Cụ thể hơn,

\begin{aligned} f_{2} (t) & = = 2^{- 2} F_{0} t^{2} + 2^{- 3} F_{1} t^{3} + 2^{- 4} F_{2} t^{4} + \dots \\ = = \frac{1}{4} t^{2} + \frac{1}{số 8} t^{3} + \frac{2}{16} t^{4} + \frac{3}{32} t^{5} + \frac{5}{64} t^{6} + \frac{số 8}{128} t^{7} + \frac{13}{256} t^{số 8} + \dots . \end{aligned}

$\eqalign{ f_2(t) &= 2^{-2}F_0t^2 + 2^{-3}F_1 t^3 + 2^{-4} F_2 t^4 + \cdots \\ &= \frac{1}{4}t^2 + \frac{1}{8}t^3 + \frac{2}{16}t^4 + \frac{3}{32}t^5 + \frac{5}{64}t^6 + \frac{8}{128}t^7 +\frac{13}{256}t^8 + \cdots. }$

Kỳ vọng của có thể dễ dàng tìm thấy bằng cách đánh giá đạo hàm và thay thế bởi vì (phân biệt các quyền hạn của thuật ngữ theo thuật ngữ) điều này mang lại công thức $X_2$ $f^\prime$ $t=1,$ $t$

f^{'} (1) = = Pr (X_{2} = = 0) (0) + Pr (X_{2} = = 1) (1) 1^{0} + \dots + Pr (X_{2} = = n) (n) 1^{n - 1} + \dots

$f^\prime(1) = \Pr(X_2=0)(0) + \Pr(X_2=1)(1)1^0 + \cdots + \Pr(X_2=n)(n)1^{n-1} + \cdots$

trong đó, như tổng xác suất nhân với các giá trị của chính xác là định nghĩa của Lấy đạo hàm bằng cách sử dụng tạo ra một công thức đơn giản cho kỳ vọng. $X_2,$ $E[X_2].$ $(**)$

Một số ý kiến ngắn gọn

Bằng cách mở rộng dưới dạng phân số một phần, có thể được viết dưới dạng tổng của hai chuỗi hình học. Điều này ngay lập tức cho thấy xác suất sẽ giảm theo cấp số nhân. Nó cũng mang lại một dạng đóng cho xác suất đuôi Sử dụng điều đó, chúng tôi có thể nhanh chóng tính toán rằng nhỏ hơn $(**)$ $f_2$ $\Pr(X_2=n)$ $\Pr(X_2 \gt n).$ $\Pr(X_2 \ge 100)$ $10^{-9}.$

Cuối cùng, các công thức này liên quan đến Tỷ lệ vàng Con số này là độ dài của một hợp âm của một hình ngũ giác đều (của đơn vị), mang lại một kết nối nổi bật giữa chuỗi Markov thuần túy kết hợp trên ngũ giác (mà "không biết gì" về hình học Euclide) và hình học của một hình ngũ giác đều trong Mặt phẳng Euclide. $\phi = (1 + \sqrt{5})/2.$

— whuber
nguồn

1

Đối với số ngày trung bình cho đến bữa tối, điều kiện trên bước thực hiện vào ngày đầu tiên. Gọi là số ngày cho đến khi sâu lấy được quả táo. Gọi là bước đầu tiên. $X$ $F$

Sau đó chúng tôi có

E [X] = = E [X | F = = B] [P (F = = B)] + E [X | F = = D] P [F = = D]

$E[X]=E[X|F=B] \ [P(F=B)]+E[X|F=D] \ P[F=D]$

Nếu bước đầu tiên là thì con sâu sẽ lấy quả táo vào ngày thứ 2 với xác suất một nửa hoặc nó trở lại đỉnh với xác suất một nửa và nó bắt đầu lại. Chúng ta có thể viết cái này như $B,$ $C$

E [X | F = = B] = = 2 (\frac{1}{2}) + (2 + E [X]) (\frac{1}{2}) = = 2 + \frac{E [X]}{2}

$E[X|F=B]=2 \left( \frac{1}{2} \right) + \left(2+E[X] \right) \left( \frac{1}{2} \right)=2+\frac{E[X]}{2}$

Nếu bước đầu tiên là thì bằng cách đối xứng, điều này giống như ở đỉnh ngoại trừ con sâu đã thực hiện một bước duy nhất như vậy $D,$ $C$

E [X | F = = D] = = 1 + E [X]

$E[X|F=D]=1+E[X]$

Đặt tất cả lại với nhau, chúng ta có được

E [X] = = (2 + \frac{E [X]}{2}) (\frac{1}{2}) + (1 + E [X]) (\frac{1}{2})

$E[X] = \left( 2+\frac{E[X]}{2} \right)\left( \frac{1}{2} \right) + \left( 1 + E[X] \right)\left( \frac{1}{2} \right)$

Giải cho năng suất $E[X]$

E [X] = = 6

$E[X] = 6$

— ngâm
nguồn

1

Điều này dường như tóm tắt lại câu trả lời của @ Glen_b.

— whuber

Giá trị của Worm và Apple

Vấn đề

Phân tích và giải pháp

Ý nghĩa và đơn giản hóa

Một số ý kiến ​​ngắn gọn

Một số ý kiến ngắn gọn