Cập nhật Bayes - ví dụ tung đồng xu

Tôi có một câu hỏi về việc cập nhật Bayes. Nói chung, cập nhật Bayes đề cập đến quá trình nhận được hậu thế từ một phân phối niềm tin trước đó.

Ngoài ra, người ta có thể hiểu thuật ngữ như sử dụng sau của bước đầu tiên làm đầu vào trước để tính toán thêm.

Dưới đây là một ví dụ tính toán đơn giản. Phương pháp a là phép tính chuẩn. Phương pháp b sử dụng đầu ra sau làm đầu vào trước để tính toán sau.

Sử dụng phương pháp a, ta được P (F | HH) = 0,2. Sử dụng phương pháp b, cho P (F | HH) = 0,05. Câu hỏi của tôi là phương pháp b là bao xa ?

---

Vấn đề: Bạn tung đồng xu hai lần, nhận 2 Đầu. Xác suất mà đồng tiền là công bằng, tức là bao nhiêu?$Pr(Fair\ coin| HH)$

Bây giờ cho lần tung đầu tiên: $Pr(Fair\ coin| H) = \frac{Pr(Head|Fair)\cdot P(Fair)}{Pr(Head|Fair) \cdot P(Fair)+Pr(Head|Biased) \cdot P(Biased)} = \frac{Pr(H|F)\cdot P(F)}{P(H)} \quad\quad (1)$

Giả sử bắt đầu niềm tin trước P (Công bằng) = 0,5, muốn tìm P (F | H) cho lần ném đầu tiên

Dưới đây là tính toán cho các bước trung gian:

$P(H|F)= {n \choose x} \theta^{x}(1-\theta)^{n-x} = {1 \choose 1} 0.5^{1}(0.5)^{0}= 0.5$

$P(H)= P(H|F) \cdot P(F)+ P(H|Biased) \cdot P(Biased)=(0.5 \cdot 0.5) +(1 \cdot 0.5) = 0.75$

(Lưu ý: P (H | Biased) = 1 vì giả sử một ví dụ cực đoan với các Đầu ở cả hai mặt của đồng tiền, xác suất nhận được Đầu có đồng xu thiên vị = 1 (giúp tính toán dễ dàng))

Do đó, cắm vào (1), chúng tôi nhận được:

$Pr(F| H) =\frac{Pr(H|F)\cdot P(F)}{P(H)} = \frac{0.5 \cdot 0.5}{0.75} = 0.33$

---

Bây giờ, chúng tôi lại tung đồng xu và lấy một H. khác để tính , chúng tôi$Pr(F| HH)$

a) tiếp tục sử dụng P (Công bằng) = 0,5

$Pr(F|HH) = \frac{Pr(HH|F)\cdot P(F)}{Pr(HH|F) \cdot P(F)+Pr(HH|Biased) \cdot P(Biased)} = \frac{Pr(HH|F)\cdot P(F)}{P(HH)} \quad\quad (2)$

$P(HH|F)= {n \choose x} \theta^{x}(1-\theta)^{n-x} = {2 \choose 2} 0.5^{2}(0.5)^{0}= 0.25$

$P(HH)= P(HH|F) \cdot P(F)+ P(HH|Biased) \cdot P(Biased)=(0.25 \cdot 0.5) +(1 \cdot 0.5) = 0.625$

Do đó, cắm vào (2), $Pr(F|HH) =\frac{Pr(HH|F)\cdot P(F)}{P(HH)} = \frac{0.25 \cdot 0.5}{0.625} = 0.2$

---

Ngoài ra, nếu chúng ta tính bằng cách sử dụng$Pr(F| HH)$

b) niềm tin cập nhật của chúng tôi P (Công bằng) = 0,33 mà chúng tôi đã nhận được từ Pr (F | H) trong bước đầu tiên

Trong trường hợp này,

$P(HH|F)= {n \choose x} \theta^{x}(1-\theta)^{n-x} = {2 \choose 2} 0.33^{2}(1-0.33)^{0}= 0.1089$

$P(HH)= P(HH|F) \cdot P(F)+ P(HH|Biased) \cdot P(Biased)=(0.1089 \cdot 0.33) +(1 \cdot 0.67) = 0.705937$

Do đó, cắm vào (2), $Pr(F|HH) =\frac{Pr(HH|F)\cdot P(F)}{P(HH)} = \frac{0.1089 \cdot 0.33}{0.705937} = 0.05091$

---

Sử dụng phương pháp a, ta được P (F | HH) = 0,2. Sử dụng phương pháp b, cho P (F | HH) = 0,05. Câu hỏi của tôi là phương pháp b là bao xa ?

Cách tiếp cận của bạn b) sai: cả hai bước cập nhật duy nhất , trong đó tất cả dữ liệu được sử dụng cùng nhau để cập nhật trước và đến sau, và cập nhật tuần tự Bayesian (còn gọi là đệ quy ) , trong đó dữ liệu được sử dụng cùng một lúc để có được một hậu thế trở thành trước khi lặp lại liên tiếp, phải cho kết quả chính xác như nhau. Đây là một trong những trụ cột của thống kê Bayes: tính nhất quán .

Lỗi của bạn rất đơn giản: một khi bạn cập nhật mẫu trước với mẫu đầu tiên ("Đầu" đầu tiên), bạn chỉ còn một mẫu còn lại để đưa vào khả năng của mình để cập nhật mẫu mới. Trong công thức:

$$P(F|HH) =\frac{P(H|H,F)P(F|H)}{P(H|H)}$$

Công thức này chỉ là định lý của Bayes, được áp dụng sau sự kiện "Head" đầu tiên đã xảy ra: vì xác suất có điều kiện là chính xác suất, định lý của Bayes cũng có giá trị đối với xác suất được quy định cho "Head" và không có gì để chứng minh thực sự . Tuy nhiên, tôi thấy rằng một số lần mọi người không thấy kết quả này là hiển nhiên, do đó tôi đưa ra một bằng chứng hơi dài dòng.

$$P(F|HH) =\frac{P(HH|F)P(F)}{P(HH)}= \frac{P(H|H,F)P(H|F)P(F)}{P(HH)}$$

theo quy tắc chuỗi xác suất có điều kiện. Sau đó, nhân tử số và mẫu số với , bạn nhận được$P(H)$

$$\frac{P(H|H,F)P(H|F)P(F)}{P(HH)}=\frac{P(H|H,F)P(H|F)P(F)P(H)}{P(HH)P(H)}=\frac{P(H|H,F)P(H)}{P(HH)}\frac{P(H|F)P(F)}{P(H)}=\frac{P(H|H,F)}{P(H|H)}\frac{P(H|F)P(F)}{P(H)}=\frac{P(H|H,F)P(F|H)}{P(H|H)}$$

trong bước cuối cùng tôi chỉ áp dụng định lý Bayes. Hiện nay:

$$P(H|H,F)= P(H|F)=0.5$$

Điều này là hiển nhiên: điều kiện trên đồng tiền là công bằng (hoặc thiên vị), chúng tôi đang mô hình hóa các đồng xu tung như iid. Áp dụng cùng ý tưởng này cho mẫu số, chúng ta nhận được:

$$P(H|H)= P(H|F,H)P(F|H)+P(H|B,H)P(B|H)=P(H|F)P(F|H)+P(H|B)P(B|H)=0.5\cdot0.\bar{3}+1\cdot0.\bar{6}$$

Cuối cùng:

$$P(F|HH) =\frac{P(H|H,F)P(F|H)}{P(H|H)}=\frac{0.5\cdot0.\bar{3}}{0.5\cdot0.\bar{3}+1\cdot0.\bar{6}}=0.2$$

QED

---

Đó là: vui khi sử dụng cập nhật tuần tự Bayes, nó rất hữu ích trong nhiều tình huống! Nếu bạn muốn biết thêm, có rất nhiều tài nguyên trên Internet: điều này khá tốt.