Xuất phát P (C | A + B) từ hai quy tắc của Cox

9

Tôi đang làm việc theo cách của mình (tự học) thông qua cuốn sách Lý thuyết xác suất của ET Jaynes - Logic của khoa học

Vấn đề ban đầu

Tặng quà

Các quy tắc tôi phải làm việc là:

$p(AB | C) = p(A|C)p(B|AC) = p(B|C)p(A|BC)$ và $p(A|B)+p(\bar{A}|B)=1$

Nơi chúng ta cũng có thể sử dụng danh tính logic để thao tác các mệnh đề. Ví dụ: $A+B=\overline{\bar{A}\bar{B}}$

Giả định về khả năng thanh toán

Tôi tin rằng điều đó là có thể bởi vì anh ta không đưa ra bất kỳ quy tắc nào khác sau đó và có một sự kết hợp logic đơn giản của các mệnh đề không dễ diễn đạt sẽ đánh bại luận điểm trung tâm của Jaynes. Tuy nhiên, tôi đã không thể rút ra được quy tắc.

Nỗ lực của tôi

Để giữ cho bản thân không bị nhầm lẫn do sử dụng cùng tên biến với givens, tôi đang giải quyết vấn đề như:

Xuất phát một công thức cho $p(X|Y+Z)$

Giới thiệu một tautology cho điều hòa

Nỗ lực tốt nhất của tôi trong việc giải quyết nó cho đến nay là đưa ra một đề xuất $W$ điều đó luôn luôn đúng Do đó tôi có thể viết lại $Y+Z$ như $(Y+Z)W$ (vì sự thật là bản sắc nhân).

Sau đó, tôi có thể viết:

$p(X|Y+Z)=p(X|(Y+Z)W)$

Vì vậy, viết lại một trong những tặng phẩm theo quy tắc của Bayes: $p(A|BC)=\frac{p(B|AC)p(A|C)}{p(B|C)}$ , Tôi có thể viết:

$p(X|(Y+Z)W)=\frac{p(Y+Z|XW)p(X|W)}{p(Y+Z|W)}=\frac{p(Y+Z|X)p(X|W)}{p(Y+Z|W)}$

Tại sao điều này không làm việc

Thuật ngữ $p(Y+Z|X)$ là dễ dàng để đối phó. (Sự mở rộng của nó được đề cập trong định nghĩa vấn đề.)

Tuy nhiên, tôi không biết phải làm gì với $p(X|W)$ và $p(Y+Z|W)$ . Không có chuyển đổi logic nào tôi có thể áp dụng để thoát khỏi $W$ , tôi cũng không thể nghĩ ra bất kỳ cách nào để áp dụng các quy tắc nhất định để đạt được điều đó.

Những nơi khác tôi đã xem

Tôi đã thực hiện một tìm kiếm Google, trong đó xuất hiện trang diễn đàn này . Nhưng tác giả cũng làm điều tương tự mà tôi đã thử mà không thấy khó khăn mà tôi gặp phải với điều kiện kết quả trên tautology được giới thiệu.

Tôi cũng đã tìm kiếm stats.stackexchange.com cho "Jaynes" và cũng cho "Bài tập 2.1" mà không tìm thấy bất kỳ kết quả hữu ích nào.

— Hiệu quả
nguồn

Tôi không nghĩ rằng điều này xứng đáng với câu trả lời của riêng mình, nhưng tôi nghĩ những gì bạn có là chính xác, và đó là những gì Jaynes đang mong đợi bạn đưa ra. Bạn có thể giả định

W

$W$ luôn luôn đúng Và câu hỏi tiếp theo anh đưa ra là về trường hợp tổng quát hơn về

p (C | (A_{1} + A_{2} + . . . + A_{n}) W)

$p(C|(A_1 + A_2 + ... + A_n)W)$ , trong đó anh ta yêu cầu bạn chứng minh dạng tổng quát hơn của Định lý Bayes. (Đây là nhiều năm sau khi câu hỏi này được đặt ra, nhưng tôi đã bị mắc kẹt trong cùng một phần. Tôi hy vọng bình luận này sẽ giúp người khác)

— William Oliver

3

Tôi không chắc những gì Jaynes coi là tương tự $P(A\cup B \mid C) = P(A \mid C) + P(B \mid C) - P(AB \mid C)$ nhưng học sinh đã vui vẻ sử dụng một hoặc nhiều điều sau đây trong bài tập về nhà và bài kiểm tra:

\begin{aligned} P (A ∣ B \cup C) & = P (A ∣ B) + P (C) \\ P (A ∣ B \cup C) & = P (A ∣ B) + P (C) - P (A C) \\ P (A ∣ B \cup C) & = P (A ∣ B) + P (A ∣ C), \\ P (A ∣ B \cup C) & = P (A ∣ B) + P (A ∣ C) - P (A ∣ B C), \\ P (A ∣ B \cup C) & = P (A B ∣ B \cup C) + P (A C ∣ B \cup C) - P (Một B C | B \cup C) . \end{aligned}

$\begin{align*} P(A\mid B \cup C) &= P(A \mid B) + P(C)\\ P(A\mid B \cup C) &= P(A \mid B) + P(C) - P(AC)\\ P(A\mid B \cup C) &= P(A \mid B) + P(A \mid C),\\ P(A\mid B \cup C) &= P(A \mid B) + P(A \mid C) - P(A \mid BC),\\ P(A\mid B \cup C) &= P(AB \mid B\cup C) + P(AC \mid B \cup C) - P(ABC \mid B\cup C). \end{align*}$ Bạn có nghĩ rằng bất kỳ trong số này là chính xác?

Lưu ý: Thay đổi nhận xét (hiện đã bị xóa) của tôi thành phụ lục cho câu trả lời của tôi, các quy tắc cho phép các thao tác sau: $P(AB \mid C) = P(A\mid C)P(B \mid AC); P(A \mid C) = 1 - P(A^c \mid C).$ Phần đầu tiên giới thiệu điều hòa trên một tập hợp con của $C$ nhưng không loại bỏ điều hòa trên $C$ . Thứ hai cũng không loại bỏ điều hòa trên $C$ . Vì vậy, bất kỳ thao tác của $P(A\mid B \cup C)$ sẽ luôn bao gồm các điều khoản của mẫu $P(X\mid B \cup C)$ và $P(A\mid B \cup C)$ không thể được thể hiện dưới dạng $P(A \mid B)$ , $P(A \mid C)$ , $P(A \mid BC)$ , vv mà không bao gồm xác suất có điều kiện trên $B \cup C$ cũng thế.

— Dilip Sarwate
nguồn

Tôi không thích ai trong số họ. Tôi nghĩ rằng câu trả lời cuối cùng là đúng về mặt kỹ thuật, nhưng nó không loại bỏ điều kiện tôi đang cố gắng loại bỏ vì tất cả các điều khoản vẫn có chức năng

A

$A$ được

B \cup C

$B \cup C$ .

— Eponymous

@Eponymous Nhưng hãy chú ý rằng trong biểu hiện mà Jaynes muốn bạn thi đua, viz.

P (A \cup B ∣ C) = P (A ∣ C) + P (B ∣ C) - P (A B ∣ C)

$P(A\cup B\mid C) =P(A\mid C) + P(B\mid C) − P(AB\mid C)$ , điều hòa vẫn còn trên

C

$C$ khắp. Vì vậy, câu hỏi sôi nổi với những gì Jaynes nghĩ là tương tự. "Danh tính" cuối cùng của tôi là một tuyên bố đúng và có điều kiện về cùng một sự kiện ở cả hai bên, giống như của Jaynes

P (A \cup B ∣ C) = P (A ∣ C) + P (B ∣ C) - P (A B ∣ C)

$P(A\cup B\mid C) =P(A\mid C) + P(B\mid C) − P(AB\mid C)$ không

— Dilip Sarwate

Trong khuôn khổ của Jaynes, bạn phải luôn luôn dựa vào điều gì đó.

P (X)

$P(X)$ không xác định cho tất cả

X

$X$ . Do đó, điều hòa trên một thuật ngữ là không thể tránh khỏi. Sự hiểu biết của tôi về vấn đề là tôi cần phải phá vỡ bằng cách nào đó

P (A | B \cup C)

$P(A|B \cup C)$ vào những thứ có thể tự nhiên hơn / dễ tính toán hơn, lý tưởng nhất là loại bỏ

\cup

$\cup$ hoàn toàn (mặc dù nó có thể là không thể di chuyển). Tôi không thấy danh tính cuối cùng của bạn là làm điều đó.

— Eponymous

@Dilip Tôi không nghĩ có gì sai với câu trả lời của bạn và tôi nghĩ rằng có rất nhiều (đặc biệt là bit cuối cùng) hoàn toàn đúng (+1). Không có hướng dẫn giải pháp (mà tôi không nghĩ là còn tồn tại), chúng ta không bao giờ có thể biết những gì trong tâm trí của Jaynes. Nhưng tôi nghĩ rằng bạn đã đúng rằng câu trả lời cuối cùng nên được điều chỉnh suốt, và điều có vẻ là sự kiện điều hòa tự nhiên sẽ là:

A \cup B

$A \cup B$ .

2

Đối với các vấn đề như thế này, đôi khi rất hữu ích khi nghĩ ít hơn về các công thức và thay vào đó hãy vẽ một bức tranh (trong trường hợp này là sơ đồ Venn).

nhập mô tả hình ảnh ở đây

Bây giờ hãy nhìn chằm chằm vào bức tranh và cố gắng hình dung những gì $P(C | A \cup B)$ đại diện. Nếu bạn có thể chọn nó ra khỏi bức tranh, thì bạn sẽ thấy rằng có một số cách hợp lệ để viết nó (hai cách nhảy vào tâm trí tôi khỏi con dơi). Nếu bạn vẫn bị mắc kẹt, hãy thử quay lại bằng chứng thông thường về quy tắc bổ sung chung thông thường cho các gợi ý.

Hãy nhớ rằng: một xác suất có điều kiện tập trung tất cả khối lượng xác suất của nó vào sự kiện điều hòa (trong trường hợp này là $A \cup B$ ). Ý tưởng là tập trung vào các địa điểm $C$ giao nhau với sự kiện đó.

Nhân tiện, mã R cho hình là

library(venneuler)
vd <- venneuler(c(A=0.2, B=0.2, C=0.2, "A&B"=0.04, "A&C"=0.04, "B&C"=0.04 ,"A&B&C"=0.008))
plot(vd)

Làm thế nào điều này giúp trong việc viết một công thức chỉ sử dụng các quy tắc của Jaynes? Chúng tôi chỉ được sử dụng hai quy tắc do OP quy định.

— Dilip Sarwate

1

@Dilip Tôi nghĩ phần khó nhất của vấn đề Jaynes này là anh ấy đã không nói rõ công thức để thực hiện. Nhưng sơ đồ cho phép chúng ta thấy các công thức tiềm năng có cơ hội trong Heck là hợp lệ, và vâng, cái mà tôi nghĩ đến có thể được chứng minh chỉ bằng các quy tắc sản phẩm và tổng hợp (thực tế, Jaynes đã làm ngay trong đoạn văn tiến hành bài tập ban đầu!).

@Jay Vấn đề, như tôi đã chỉ ra trong các bình luận về câu trả lời của riêng tôi, là mọi thứ trong một công thức cho

P (C ∣ A \cup B)

$P(C \mid A\cup B)$ nhất thiết phải được điều hòa

A \cup B

$A\cup B$ . Mặt khác, như bạn nói, văn bản của Jaynes chứng minh phiên bản có điều kiện của kết quả nổi tiếng:

P (A \cup B) = P (A) + P (B) - P (A B)

$P(A \cup B) = P(A) + P(B) - P(AB)$ . Nó rất dễ dàng để phá vỡ các sự kiện điều hòa , không phải như vậy cho các sự kiện điều hòa .

— Dilip Sarwate

@Dilip yep, không thể chia tay sự kiện điều hòa, tôi với bạn.

1

Định lý Bayes đưa ra

p (C | Một + B) = = \frac{p (Một + B | C) p (C)}{p (Một + B)} .

$p(C\mid A+B) = \frac{p(A+B\mid C)\;p(C)}{p(A+B)} \, .$ Bây giờ, sử dụng quy tắc tổng có điều kiện và vô điều kiện, chúng ta có

p (C | Một + B) = = \frac{p (Một | C) + p (B | C) - p (Một B | C)}{p (Một) + p (B) - p (Một B)} p (C) .

$p(C\mid A+B) = \frac{p(A\mid C)+p(B\mid C)-p(AB\mid C)}{p(A)+p(B)-p(AB)}\;p(C) \, .$ Tất nhiên, câu hỏi là liệu công thức này có "tương tự đủ" đối với Jaynes hay không.

— thiền học
nguồn

Như OP đã chỉ ra trong một bình luận, "Trong khuôn khổ của Jaynes, bạn phải luôn luôn dựa vào điều gì đó. P (X) không được xác định cho tất cả X. Do đó, điều kiện trong một thuật ngữ là không thể tránh khỏi." Vì vậy, bạn không được phép viết P (C), P (A), v.v.

— Dilip Sarwate

1

Bạn không thể thoát khỏi tautology. Tôi nghĩ rằng bạn chỉ cần thêm tautology và áp dụng quy tắc sản phẩm và sau đó là quy tắc tổng và bạn nhận được:

p (C | (Một + B) W) = = \frac{p (C Một | W) + p (C B | W) - p (Một B | W)}{p (Một | W) + p (B | W) - p (Một B | W)}

$p(C|(A+B)W) = \frac{p(CA|W)+p(CB|W)-p(AB|W)}{p(A|W)+p(B|W)-p(AB|W)}$

trong đó tất cả các xác suất được thể hiện như là hậu thế cho tautology. Tôi nghĩ rằng đây là tương tự nhất với quy tắc tổng mà bạn có thể nhận được cho vấn đề này, vì vậy đó sẽ là giải pháp.

Lưu ý rằng nếu bạn thêm điều kiện $p(AB|W)=0$ (I E $A$ và $B$ là loại trừ lẫn nhau) bạn có cùng một biểu thức mà bạn phải chứng minh trong bài toán 2.2, điều đó cho thấy giải pháp này rất có thể đúng (theo quy nạp Bayes;).

— Chủ mưu
nguồn

0

Chỉ tuân theo quy tắc của Cox, lấy $W=X$ như trong cuốn sách của Jaynes, chúng tôi có giải pháp từ MastermindX:

p (C | (Một + B) X) = = \frac{p (C (Một + B) | X)}{p ((Một + B) | X)} (quy tắc nhân)

$p(C|(A+B)X) = \dfrac{p(C(A+B)|X)}{p((A+B)|X)} \qquad \text{(product rule)}$

= = \frac{p ((C Một + C B) | X)}{p ((Một + B) | X)} (tài sản phân phối của sự kết hợp)

$= \dfrac{p((CA+CB)|X)}{p((A+B)|X)} \qquad \text{(distributive property of the conjunction)}$

= = \frac{p (C Một | X) + p (C B | X) - p (C Một B | X)}{p ((Một + B) | X)} (quy tắc tổng trên tử số)

$= \dfrac{p(CA|X)+p(CB|X)-p(CAB|X)}{p((A+B)|X)} \qquad \text{(sum rule on numerator)}$

= \frac{p (C A | X) + p (C B | X) - p (C A B | X)}{p (A | X) + p (B | X) - p (A B | X)} (sum rule on demoninator)

$= \dfrac{p(CA|X)+p(CB|X)-p(CAB|X)}{p(A|X)+p(B|X)-p(AB|X)} \qquad \text{(sum rule on demoninator)}$

= \frac{p (A | X) p (C | A X) + p (B | X) p (C | B X) - p (A B | X) p (C | A B X)}{p (A | X) + p (B | X) - p (A B | X)} (product rule on numerator)

$= \dfrac{p(A|X)p(C|AX)+p(B|X)p(C|BX)-p(AB|X)p(C|ABX)}{p(A|X)+p(B|X)-p(AB|X)} \qquad \text{(product rule on numerator)}$

The solution for Ex. 2.1 follows the intention of the Chapter 2 in the product rule, that "we first seek a consistent rule relating the plausibility of the logical product $AB$ tính hợp lý của $A$ và $B$ riêng biệt "(trang 24). Hơn nữa, đối với các đề xuất loại trừ lẫn nhau $A$ và $B$ , điều này bằng với phương trình. (2.67) trong ví dụ 2.2, nếu chúng ta lấy $\{A_{1} = A$ , $A_{2} = B\}$ ; cũng được chỉ định bởi MastermindX. Lưu ý rằng bản thân Jaynes không loại bỏ thông tin bổ sung $X$ trên phương trình (2.67), vì vậy tôi tin rằng đây là giải pháp được mong đợi cho cả hai bài tập.

— aatr
nguồn