Trực giác định lý của Bayes

22

Tôi đã cố gắng phát triển một sự hiểu biết dựa trên trực giác về định lý của Bayes về mặt trước , sau , khả năng và xác suất cận biên . Cho rằng tôi sử dụng phương trình sau: trong đó đại diện cho một giả thuyết hoặc niềm tin và đại diện cho dữ liệu hoặc bằng chứng. Tôi đã hiểu khái niệm về hậu thế - đó là một thực thể hợp nhất kết hợp niềm tin trước đó và khả năng của một sự kiện. Điều tôi không hiểu là khả năng biểu thị điều gì? Và tại sao là cận biên

P (B | Một) = = \frac{P (Một | B) P (B)}{P (Một)}

$P(B|A) = \frac{P(A|B)P(B)}{P(A)}$

A

$A$

B

$B$
xác suất trong mẫu số?
Sau khi xem xét một vài tài nguyên, tôi đã xem qua trích dẫn này:

Các khả năng là trọng lượng của sự kiện do sự xuất hiện của ... là sau suất của sự kiện , cho rằng sự kiện đã xảy ra. $B$ $A$ $P(B|A)$ $B$ $A$

2 câu trên dường như giống hệt tôi, chỉ được viết theo nhiều cách khác nhau. Bất cứ ai có thể xin vui lòng giải thích sự khác biệt giữa hai?

bayesian likelihood intuition

— Anas Ayubi
nguồn

4

Bạn có một lỗi đánh máy (hoặc một quan niệm sai lầm). phải là "giả thuyết hoặc niềm tin" và phải là "dữ liệu hoặc bằng chứng" trong công thức của bạn.

B

$B$

A

$A$

— gung - Tái lập Monica

1

xem câu trả lời của tôi tại math.stackexchange.com/a/1943255/1505 đó là cách tôi kết thúc việc hiểu nó bằng trực giác

— Lyndon White

27

Mặc dù có bốn thành phần được liệt kê trong luật Bayes, tôi thích nghĩ về ba thành phần khái niệm:

\underset{2}{\underset{⏟}{P (B | Một)}} = = \underset{3}{\underset{⏟}{\frac{P (Một | B)}{P (Một)}}} \underset{1}{\underset{⏟}{P (B)}}

$\underbrace{P(B|A)}_2 = \underbrace{\frac{P(A|B)}{P(A)}}_3 \underbrace{P(B)}_1$

Ưu tiên là những gì bạn tin về trước khi gặp phải một thông tin mới và có liên quan (nghĩa là ). $B$ $A$
Các sau là những gì bạn tin (hoặc phải, nếu bạn là hợp lý) về sau khi gặp phải một mảnh mới và phù hợp của thông tin. $B$
Các thương về khả năng chia cho xác suất biên của các mảnh mới của thông tin chỉ số các informativeness các thông tin mới cho niềm tin của bạn về . $B$

— gung - Phục hồi Monica
nguồn

19

Đã có một số câu trả lời hay, nhưng có lẽ điều này có thể thêm một cái gì đó mới ...

Tôi luôn nghĩ về quy tắc Bayes về mặt xác suất thành phần, có thể hiểu theo nghĩa hình học theo các sự kiện và như hình dưới đây. $A$ $B$

Các xác suất cận biên và được xác định bởi các lĩnh vực vòng tròn tương ứng. Tất cả các kết quả có thể được đại diện bởi , tương ứng với tập hợp các sự kiện " hoặc ". Các khả năng doanh tương ứng với sự kiện " và ". $P(A)$ $P(B)$ $P(A \cup B)=1$ $A$ $B$ $P(A \cap B)$ $A$ $B$

Trong khung này, các xác suất có điều kiện trong định lý Bayes có thể được hiểu là tỷ lệ của các khu vực. Xác suất của cho là phần của chiếm đóng bởi , thể hiện dưới dạng $A$ $B$ $B$ $A \cap B$ Tương tự, xác suấtcholà phân số củachiếm bởi, tức là

P (Một | B) = = \frac{P (Một \cap B)}{P (B)}

$P(A\vert B)=\frac{P(A \cap B)}{P(B)}$

B

$B$

A

$A$

A

$A$

A \cap B

$A \cap B$

P (B | Một) = = \frac{P (Một \cap B)}{P (Một)}

$P(B\vert A)=\frac{P(A \cap B)}{P(A)}$

Định lý Bayes thực sự chỉ là hệ quả toán học của các định nghĩa trên, có thể được đặt lại là Tôi thấy đối xứng này dạng của định lý Bayes để dễ nhớ hơn nhiều. Đó là, danh tính giữ cho dù hay được gắn nhãn "trước" so với "sau".

P (B | Một) P (Một) = = P (Một \cap B) = = P (Một | B) P (B)

$P(B\vert A)P(A)=P(A \cap B)=P(A\vert B)P(B)$

p (A)

$p(A)$

p (B)

$p(B)$

(Một cách hiểu khác về cuộc thảo luận ở trên được đưa ra trong câu trả lời của tôi cho câu hỏi này , từ quan điểm "bảng tính kế toán" hơn.)

— GeoMatt22
nguồn

9

@gung có một câu trả lời tuyệt vời. Tôi sẽ thêm một ví dụ để giải thích "sự khởi đầu" trong một ví dụ thực tế.

$H$ $A$ $E$ $B$

Vậy công thức là

P (H | E) = = \frac{P (E | H) P (H)}{P (E)}

$P(H|E) = \frac{P(E|H)P(H)}{P(E)}$

Lưu ý công thức tương tự có thể được viết là

P (H | E) α P (E | H) P (H)

$P(H|E) \propto {P(E|H)P(H)}$

$\propto$ $P(E|H)$ $P(H)$ $P(E)$ $E$

$H \in \{0,1\}$

$1$ $1000$ $P(H=1)=0.001$ $P(H=0)=0.999$

$P(H|E)$

$E\in\{0,1\}$

$P(E=1|H=0)$ $P(E=1|H=1)$

$E=1$

— Haitao Du
nguồn

P (H = 0)

$P(H=0)$

0.999

$0.999$

P (H = 1) = 0.001

$P(H=1)=0.001$

1

Lưu ý rằng quy tắc của Bayes là

$P(a|b)=\frac{P(b,a)}{P(b)}=\frac{P(b,a)}{P(b)P(a)}P(a)$

Lưu ý tỷ lệ

\frac{P (b, một)}{P (b) P (một)} .

$\frac{P(b,a)}{P(b)P(a)}.$

$B \perp A$ $P(b,a)=P(b)P(a)$

Điều thú vị là nhật ký của tỷ lệ này cũng có mặt trong thông tin lẫn nhau:

tôi (Một | B) = = \underset{một, b}{Σ} P_{} (một, b) đăng nhập \frac{P_{} (b, một)}{P (b) P (một)}

$I(A|B) = \sum_{a,b}P_{}(a,b)\mathbf{\log\frac{P_{}(b,a)}{P(b)P(a)}}$

— người dùng0
nguồn

0

$P(A,B)$

khả năng = tỷ lệ hàng sau = tỷ lệ cột

Ưu tiên và cận biên được xác định tương tự, nhưng dựa trên "tổng số" thay vì một cột cụ thể

tỷ lệ cận biên = hàng tổng trước = tỷ lệ tổng cột

Tôi thấy điều này giúp tôi.

— xác suất
nguồn