Áp dụng tối đa hóa kỳ vọng vào các ví dụ tung đồng xu

Gần đây tôi đã tự nghiên cứu Tối đa hóa Kỳ vọng và đã tự mình lấy một số ví dụ đơn giản trong quy trình:

Từ đây : Có ba đồng xu , và với , và xác suất tương ứng để hạ cánh trên Đầu khi được ném. Toss . Nếu kết quả là Head, quăng ba lần, khác quăng ba lần. Dữ liệu quan sát được tạo bởi và giống như sau: HHH, TTT, HHH, TTT, HHH. Dữ liệu ẩn là kết quả của . Ước tính , và . $c_0$ $c_1$ $c_2$ $p_0$ $p_1$ $p_2$ $c_0$ $c_1$ $c_2$ $c_1$ $c_2$ $c_0$ $p_0$ $p_1$ $p_2$

Và từ đây : Có hai đồng xu và với và là xác suất tương ứng để hạ cánh trên Đầu khi được ném. Mỗi vòng, chọn một đồng xu ngẫu nhiên và ném nó mười lần; ghi lại kết quả. Dữ liệu quan sát được là kết quả tung được cung cấp bởi hai đồng tiền này. Tuy nhiên, chúng tôi không biết đồng tiền nào đã được chọn cho một vòng cụ thể. Ước tính và . $c_A$ $c_B$ $p_A$ $p_B$ $p_A$ $p_B$

Trong khi tôi có thể có được các tính toán, tôi không thể liên hệ các cách chúng được giải quyết với lý thuyết EM ban đầu. Cụ thể, trong Bước M của cả hai ví dụ, tôi không thấy cách họ tối đa hóa bất cứ điều gì. Có vẻ như họ đang tính toán lại các tham số và bằng cách nào đó, các tham số mới tốt hơn các tham số cũ. Hơn nữa, hai Bước E thậm chí trông không giống nhau, chưa kể E-Step của lý thuyết ban đầu.

Vậy chính xác thì những ví dụ này hoạt động như thế nào?

probability-theory statistics

— Băng giá
nguồn

Trong ví dụ đầu tiên, chúng ta nhận được bao nhiêu trường hợp của cùng một thí nghiệm? Trong ví dụ thứ hai, luật "chọn một đồng tiền ngẫu nhiên" là gì? Chúng ta quan sát được bao nhiêu vòng?

— Raphael

Các tệp PDF tôi liên kết đã từng bước giải quyết hai ví dụ này. Tuy nhiên, tôi không thực sự hiểu thuật toán EM được sử dụng.

— IcySnow

@IcySnow, bạn có hiểu khái niệm kỳ vọng và kỳ vọng có điều kiện của một biến ngẫu nhiên không?

— Nicholas Mancuso

Tôi hiểu kỳ vọng cơ bản của một biến ngẫu nhiên và xác suất có điều kiện. Tuy nhiên, tôi không quen với kỳ vọng có điều kiện, đạo hàm và thống kê đầy đủ của nó.

— IcySnow

(Câu trả lời này sử dụng liên kết thứ hai mà bạn đã đưa ra.)

$\newcommand{\Like}{\text{L}}\newcommand{\E}{\text{E}}$ Nhớ lại định nghĩa về khả năng: nơi trong trường hợp của chúng tôi là ước lượng cho xác suất mà đồng tiền A và B lần lượt đứng đầu đất, là kết quả của các thí nghiệm của chúng tôi, mỗi bao gồm 10 lần lật và là đồng tiền được sử dụng trong mỗi thử nghiệm.

L [θ | X] = Pr [X | θ] = \sum_{Z} Pr [X, Z | θ]

$\Like[\theta | X] = \Pr[X| \theta] = \sum_Z \Pr[X, Z | \theta]$

θ = (θ_{A}, θ_{B})

$\theta = (\theta_A, \theta_B)$

X = (X_{1}, \dots, X_{5})

$X = (X_1, \dotsc, X_5)$

X_{i}

$X_i$

Z = (Z_{1}, \dots, Z_{5})

$Z = (Z_1, \dotsc, Z_5)$

Chúng tôi muốn tìm công cụ ước tính khả năng tối đa . Thuật toán tối đa hóa kỳ vọng (EM) là một phương pháp như vậy để tìm (ít nhất là cục bộ) . Nó hoạt động bằng cách tìm kỳ vọng có điều kiện, sau đó được sử dụng để tối đa hóa . Ý tưởng là bằng cách liên tục tìm nhiều khả năng (tức là có thể xảy ra nhiều hơn) trong mỗi lần lặp, chúng tôi sẽ liên tục tăng do đó, làm tăng hàm likelihood. Có ba điều cần phải được thực hiện trước khi tiếp tục thiết kế một thuật toán dựa trên EM. $\hat{\theta}$ $\hat{\theta}$ $\theta$ $\theta$ $\Pr[X,Z|\theta]$

Xây dựng mô hình
Tính toán kỳ vọng có điều kiện theo mô hình (E-Step)
Tối đa hóa khả năng của chúng tôi bằng cách cập nhật ước tính hiện tại của chúng tôi về (M-Step) $\theta$

Xây dựng mô hình

Trước khi chúng ta tiến xa hơn với EM, chúng ta cần tìm hiểu chính xác chúng ta đang tính toán cái gì. Trong bước E, chúng tôi đang tính toán chính xác giá trị mong đợi cho . Vậy giá trị này là gì? Quan sát rằng Lý do là chúng tôi có 5 thử nghiệm và chúng tôi không biết loại tiền nào được sử dụng trong mỗi loại. Sự bất bình đẳng là do $\log \Pr[X,Z|\theta]$

\begin{aligned} \log Pr [X, Z | θ] & = \sum_{i = 1}^{5} \log \sum_{C \in {A, B}} Pr [X_{i}, Z_{i} = C | θ] \\ = \sum_{i = 1}^{5} \log \sum_{C \in {A, B}} Pr [Z_{i} = C | X_{i}, θ] \cdot \frac{Pr [X_{i}, Z_{i} = C | θ]}{Pr [Z_{i} = C | X_{i}, θ]} \\ \geq \sum_{i = 1}^{5} \sum_{C \in {A, B}} Pr [Z_{i} = C | X_{i}, θ] \cdot \log \frac{Pr [X_{i}, Z_{i} = C | θ]}{Pr [Z_{i} = C | X_{i}, θ]} . \end{aligned}

$\begin{align*} \log \Pr[X,Z|\theta] &= \sum_{i=1}^5 \log\sum_{C\in \{A,B\}}\Pr[X_i, Z_i=C| \theta]\\ &=\sum_{i=1}^5 \log\sum_{C\in \{A,B\}} \Pr[Z_i=C | X_i, \theta] \cdot \frac{\Pr[X_i, Z_i=C| \theta]}{\Pr[Z_i=C | X_i, \theta]}\\ &\geq \sum_{i=1}^5 \sum_{C\in \{A,B\}} \Pr[Z_i=C | X_i, \theta] \cdot \log\frac{\Pr[X_i, Z_i=C| \theta]}{\Pr[Z_i=C | X_i, \theta]}. \end{align*}$

\log

$\log$ được lõm và áp dụng bất bình đẳng của Jensen. Lý do chúng ta cần ràng buộc thấp hơn là chúng ta không thể tính trực tiếp arg max với phương trình ban đầu. Tuy nhiên chúng ta có thể tính toán nó cho giới hạn dưới cuối cùng.

Bây giờ gì? Đó là xác suất mà chúng ta thấy đồng xu cho thử nghiệm và . Sử dụng xác suất có điều kiện mà chúng tôi có, $\Pr[Z_i=C|X_i,\theta]$ $C$ $X_i$ $\theta$

Pr [Z_{i} = C | X_{i}, θ] = \frac{Pr [X_{i}, Z_{i} = C | θ]}{Pr [X_{i} | θ]} .

$\Pr[Z_i=C| X_i, \theta] = \frac{\Pr[X_i, Z_i = C|\theta]}{\Pr[X_i|\theta]}.$

Mặc dù chúng tôi đã đạt được một số tiến bộ, chúng tôi vẫn chưa hoàn thành với mô hình. Xác suất mà một đồng tiền đã cho lật chuỗi bao nhiêu? Để Bây giờ rõ ràng là chỉ xác suất dưới cả hai khả năng của hoặc . Vì chúng tôi có, $X_i$ $h_i = \#\text{heads in } X_i$

Pr [X_{i}, Z_{i} = C | θ] = \frac{1}{2} \cdot θ_{C}^{h_{i}} (1 - θ_{C})^{10 - h_{i}}, for C \in {A, B} .

$\Pr[X_i, Z_i = C| \theta] = \frac{1}{2} \cdot \theta_C^{h_i} (1 - \theta_C)^{10 - h_i},\ \text{ for } \ C \in \{A, B\}.$

Pr [X_{i} | θ]

$\Pr[X_i|\theta]$

Z_{i} = A

$Z_i=A$

Z_{i} = B

$Z_i=B$

Pr [Z_{i} = A] = Pr [Z_{i} = B] = 1 / 2

$\Pr[Z_i = A] = \Pr[Z_i = B] = 1/2$

Pr [X_{i} | θ] = 1 / 2 \cdot (Pr [X_{i} | Z_{i} = A, θ] + Pr [X_{i} | Z_{i} = B, θ]) .

$\Pr[X_i|\theta] = 1/2 \cdot (\Pr[X_i |Z_i = A, \theta] + \Pr[X_i |Z_i = B, \theta]).$

Bước điện tử

Được rồi ... điều đó không vui lắm nhưng chúng ta có thể bắt đầu thực hiện một số công việc EM ngay bây giờ. Thuật toán EM bắt đầu bằng cách thực hiện một số dự đoán ngẫu nhiên cho . Trong ví dụ này, chúng ta có . Chúng tôi tính toán Giá trị này phù hợp với những gì trong bài báo. Bây giờ chúng ta có thể tính số lượng đầu dự kiến trong từ đồng xu , Làm điều tương tự cho đồng xu chúng ta nhận được, $\theta$ $\theta^0 = (0.6,0.5)$

Pr [Z_{1} = A | X_{1}, θ] = \frac{1 / 2 \cdot ({0.6}^{5} \cdot {0.4}^{5})}{1 / 2 \cdot (({0.6}^{5} \cdot {0.4}^{5}) + ({0.5}^{5} \cdot {0.5}^{5}))} \approx 0.45.

$\Pr[Z_1=A|X_1,\theta] = \frac{1/2 \cdot (0.6^5 \cdot 0.4^5)}{1/2 \cdot ((0.6^5 \cdot 0.4^5) + (0.5^5 \cdot 0.5^5))} \approx 0.45.$

X_{1} = (H, T, T, T, H, H, T, H, T, H)

$X_1 = (H,T,T,T,H,H,T,H,T,H)$

A

$A$

E [# heads by coin A | X_{1}, θ] = h_{1} \cdot Pr [Z_{1} = A | X_{1}, θ] = 5 \cdot 0.45 \approx 2.2.

$\E[\# \text{heads by coin }A | X_1, \theta] = h_1 \cdot \Pr[Z_1=A|X_1,\theta] = 5 \cdot 0.45 \approx 2.2.$

B

$B$

E [# heads by coin B | X_{1}, θ] = h_{1} \cdot Pr [Z_{1} = B | X_{1}, θ] = 5 \cdot 0.55 \approx 2.8.

$\E[\# \text{heads by coin }B | X_1, \theta] = h_1 \cdot \Pr[Z_1=B|X_1,\theta] = 5 \cdot 0.55 \approx 2.8.$ Chúng ta có thể tính toán tương tự cho số lượng đuôi bằng cách thay thế trong . Điều này tiếp tục cho tất cả các giá trị khác của và . Nhờ tính tuyến tính của kỳ vọng, chúng ta có thể tìm ra

h_{1}

$h_1$

10 - h_{1}

$10 - h_1$

X_{i}

$X_i$

h_{i}

$h_i$

1 \leq i \leq 5

$1 \leq i \leq 5$

E [# heads by coin A | X, θ] = \sum_{i = 1}^{5} E [# heads by coin A | X_{i}, θ]

$\E[\#\text{heads by coin } A|X ,\theta] = \sum_{i=1}^5 \E[\# \text{heads by coin }A | X_i, \theta]$

M-Bước

Với các giá trị dự kiến của chúng tôi, giờ đến bước M nơi chúng tôi muốn tối đa hóa với các giá trị mong đợi của chúng tôi. Điều này được thực hiện bằng cách chuẩn hóa đơn giản! Tương tự như vậy đối với . Quá trình này bắt đầu lại với E-Step và và tiếp tục cho đến khi các giá trị cho hội tụ (hoặc đến một số ngưỡng cho phép). Trong ví dụ này, chúng ta có 10 lần lặp và . Trong mỗi lần lặp, giá trị của tăng lên, do ước tính tốt hơn về $\theta$

θ_{A}^{1} = \frac{E [# heads over X by coin A | X, θ]}{E [# heads and tails over X by coin A | X, θ]} = \frac{21.3}{21.3 + 9.6} \approx 0.71.

$\theta_A^1 = \frac{E[\#\text{heads over } X \text{ by coin } A|X ,\theta]}{E[\#\text{heads and tails over } X \text{ by coin } A|X ,\theta]} = \frac{21.3}{21.3 + 9.6} \approx 0.71.$

B

$B$

θ^{1}

$\theta^1$

θ

$\theta$

\hat{θ} = θ^{10} = (0.8, 0.52)

$\hat{\theta} = \theta^{10} = (0.8, 0.52)$

Pr [X, Z | θ]

$\Pr[X,Z|\theta]$

θ

$\theta$ .

Bây giờ trong trường hợp này mô hình khá đơn giản. Mọi thứ có thể trở nên phức tạp hơn khá nhanh, tuy nhiên thuật toán EM sẽ luôn hội tụ và sẽ luôn tạo ra một công cụ ước tính khả năng tối đa . Nó có thể là một công cụ ước tính cục bộ , nhưng để giải quyết vấn đề này, chúng ta có thể khởi động lại quá trình EM với một khởi tạo khác. Chúng tôi có thể làm điều này một số lần không đổi và giữ lại kết quả tốt nhất (nghĩa là những người có khả năng cuối cùng cao nhất). $\hat{\theta}$

— Nicholas Mancuso
nguồn

Nếu bất kỳ phần nào không rõ ràng, tôi cũng có thể cố gắng mở rộng chúng.

— Nicholas Mancuso

Nó trở nên rõ ràng hơn bây giờ. Điều tôi không thực sự nhận được là tại sao số lượng người đứng đầu dự kiến cho đồng tiền A được tính như sau: E [#heads by coin A | X1, θ] = h1⋅Pr [Z1 = A | X1, θ] = 5⋅0,45 ≈2.2? Vấn đề được đề cập trong bản PDF đầu tiên phức tạp hơn. Nếu bạn không phiền, bạn có thể làm một số tính toán minh họa cho nó không? Rất cám ơn câu trả lời của bạn.

— IcySnow

@IcySnow, theo như kỳ vọng calc đi: Heads . Lý do là bạn có thể nghĩ đến việc có một biến ngẫu nhiên chỉ báo khác nếu A được sử dụng. Tính toán kỳ vọng vào các biến chỉ báo là đơn giản xác suất của sự kiện đó.

E [# heads by coin A | X_{1}, θ] = \sum_{# heads in X_{1}} Pr [Z_{1} = A | X_{1}, θ] = 5 \cdot Pr [Z_{1} = A | X_{1}, θ]

$E[\# \text{ heads by coin }A|X_1,\theta] = \sum_{\#\text{ heads in }X_1} \Pr[Z_1 = A| X_1, \theta] = 5 \cdot \Pr[Z_1 = A| X_1, \theta]$

— Nicholas Mancuso

Xin lỗi vì trả lời chậm. Nhờ có bạn, giờ đây tôi có thể thực sự hiểu logic đằng sau hai ví dụ về đồng xu, sau khi xem qua câu trả lời của bạn nhiều lần. Có một điều cuối cùng tôi muốn hỏi về câu hỏi này: Ví dụ bắt đầu từ trang 8 trong slide này cs.northwestern.edu/~ddowney/cifts/395_Winter2010/em.ppt cho thấy rằng trong M-Step, trước tiên chúng ta phải tính toán đạo hàm của hàm khả năng đăng nhập và sử dụng nó để tối đa hóa kỳ vọng. Tại sao không phải là một cái gì đó như thế trong các bước tung ví dụ? Bởi vì những bước M này không giống như chúng đang tối đa hóa mọi thứ

— IcySnow

Tôi bối rối bởi phương trình hiển thị đầu tiên sau khi "Xây dựng mô hình". Bạn có thể giải thích nơi đó đến từ đâu? Có vẻ với tôi như , vì vậy số tiền bên trong là 1 cho mỗi , vì vậy toàn bộ phía bên tay phải trở thành số không. Tôi chắc chắn rằng tôi đang thiếu một cái gì đó - bạn có thể đánh vần lý do về cách bạn có được phương trình đó không?

Pr [Z_{i} = A | X_{i}, θ] + Pr [Z_{i} = B | X_{i}, θ] = 1

$\Pr[Z_i=A|X_i,\theta]+\Pr[Z_i=B|X_i,\theta]=1$

i

$i$

— DW