Xác định "đồng xu có xác suất 1 đến đầu đất" Giả sử rằng người ta có niềm tin trước: . Tuy nhiên, sau khi tung đồng xu một lần, nó hạ cánh xuống đuôi ( "đuôi đã hạ cánh"). Làm thế nào một Bayesian nên cập nhật niềm tin của mình để giữ mạch lạc? không xác định, vì . Tuy nhiên, đối với tôi, dường như niềm tin trước đây của anh ta khá vô lý (tất nhiên xác suất 0 không có nghĩa là không thể) bằng cách nào đó anh ta có thể cập nhật niềm tin của mình theo một số quy tắc.P ( X ) = 1 E : = P ( X | E ) P ( E ) = $X:=$$P(X)= 1$$E:=$$P(X|E)$$P(E) = 0$

Đây chỉ là một trường hợp bệnh lý trong đó việc cập nhật Bayes không hoạt động hay tôi không biết giải pháp cho vấn đề này?

Bất kỳ xác suất sau là hợp lệ trong trường hợp này

Đây là một câu hỏi thú vị, được đưa vào lãnh thổ của các nền tảng của xác suất. Có một vài cách tiếp cận có thể có ở đây, nhưng vì những lý do mà tôi sẽ giải thích sớm, cách tiếp cận tôi ủng hộ là đưa ra định nghĩa rộng hơn về xác suất có điều kiện tương tự như định nghĩa của nó khi xử lý các biến ngẫu nhiên liên tục. (Chi tiết về phương pháp này được trình bày bên dưới.) Trong trường hợp cụ thể này, điều này dẫn đến kết luận rằng Bayesian có thể giữ bất kỳ niềm tin nào về hậu thế của , và điều này mang lại một niềm tin mạch lạc (mặc dù họ đã quan sát thấy một sự kiện mà họ tin rằng để có xác suất bằng không).$X$

Ưu điểm của phương pháp này là nó cung cấp phân phối sau được xác định rõ và cho phép Bayesian cập nhật niềm tin của họ có điều kiện để quan sát một sự kiện được quy định xảy ra với xác suất bằng không. Hậu thế được cập nhật về cơ bản một cách tùy tiện (bất kỳ xác suất hậu nghiệm nào cũng mạch lạc như nhau), nhưng tính linh hoạt đó không gây ngạc nhiên cho những gì đã xảy ra. Trong trường hợp này, những người Bayes khác nhau có cùng niềm tin trước đó có thể đưa ra kết luận chính xác khác nhau, do thực tế là tất cả họ đã quan sát thấy một sự kiện không có xác suất tiên nghiệm .

Xác suất có điều kiện cho các biến ngẫu nhiên liên tục: Khi chúng ta đang xử lý các biến ngẫu nhiên liên tục, hàm xác suất có điều kiện được xác định thông qua đạo hàm Radon-Nikodym và về cơ bản chỉ cần hàm thỏa mãn định luật xác suất khớp. Nếu và là các biến ngẫu nhiên liên tục (chứ không phải là các sự kiện rời rạc) trong một không gian xác suất thì chúng ta sẽ định nghĩa hàm xác suất có điều kiện là bất kỳ phép đo không âm nào hàm thỏa mãn phương trình tích phân:$X$$E$$(\Omega, \mathscr{G}, P)$$p(x|e)$

Vì cũng được định nghĩa thông qua đạo hàm Radon-Nikodym, điều này ngầm có nghĩa là có thể là bất kỳ hàm đo lường không âm nào thỏa mãn phương trình tích phân:$p(x)$$p(x|e)$

Điều này đưa ra một giải pháp không duy nhất cho hàm xác suất có điều kiện, mặc dù trong thực tế, mọi giải pháp đều tương đương "gần như chắc chắn" (nghĩa là chúng chỉ khác nhau trên một tập kết quả có xác suất bằng 0) nên không có vấn đề gì với tính không duy nhất .

Xác định xác suất có điều kiện cho các sự kiện rời rạc: Định nghĩa chuẩn cho xác suất có điều kiện cho các sự kiện rời rạc là công thức tỷ lệ nổi tiếng, trong đó mẫu số là xác suất của sự kiện điều hòa. Rõ ràng, trong trường hợp sự kiện điều hòa có xác suất bằng không, đối tượng này không được xác định. Giải pháp rõ ràng ở đây là mở rộng định nghĩa theo cách tương tự với phương pháp được sử dụng trong trường hợp liên tục. Nghĩa là, chúng tôi xác định cặp xác suất có điều kiện và là bất kỳ cặp giá trị nào giữa 0 và một giá trị thỏa mãn phương trình:$\mathbb{P}(X|E)$$\mathbb{P}(X|\bar{E})$

Trong trường hợp được quy định trong câu hỏi, chúng tôi có niềm tin trước và phân phối lấy mẫu , dẫn đến . Việc thay thế các giá trị này vào phương trình trên sẽ cho:$\mathbb{P}(X) = 1$$\mathbb{P}(E|X) = 0$$\mathbb{P}(E) = 0$

Chúng ta có thể thấy rằng phương trình này được thỏa mãn bằng cách lấy và bất kỳ . Do đó, xác suất có điều kiện (sau) có thể là bất kỳ giá trị nào giữa 0 và một. Khi chúng tôi nói rằng đây là "kết hợp", chúng tôi chỉ đơn giản có nghĩa là xác suất sau không phù hợp với các xác suất được quy định khác trong vấn đề (nghĩa là xác suất lấy mẫu trước và lấy mẫu).$\mathbb{P}(X|\bar{E}) = 1$$0 \leqslant \mathbb{P}(X|E) \leqslant 1$$\mathbb{P}(X|E)$

Tại sao cách tiếp cận này có ý nghĩa nhất: Hoàn toàn có thể phân tích Bayes có thể liên quan đến việc quan sát một sự kiện riêng biệt có xác suất bằng không được quy định trong phân phối trước. Ví dụ, trong một mô hình tiêu chuẩn về lật đồng xu, chúng tôi quy định phân phối Bernoulli cho kết quả đầu / đuôi, nhưng có thể đồng xu có thể nằm yên trên cạnh của nó (do đó không phải là đầu hoặc đuôi). Não bộ không nên bùng nổ trong trường hợp này, và do đó, theo lý luận Bayes là đương nhiên để có một cách tiến hành được xác định rõ trong trường hợp này.

Ưu điểm chính của cách tiếp cận tôi đã vạch ra là nó luôn dẫn đến ít nhất một giá trị cho phép đối với xác suất sau (nghĩa là xác suất sau được xác định rõ ). Xác suất sau không được xác định duy nhất, nhưng đó là một kết quả tự nhiên của thực tế là có một số giá trị phù hợp như nhau với quan sát lấy mẫu xác suất bằng không. Cách tiếp cận này có nghĩa là Bayes có thể tự do quy định bất kỳ xác suất hậu nghiệm nào, và điều này cũng mạch lạc như bất kỳ điều gì khác. (Hãy nhớ rằng khi chúng ta nói "mạch lạc" ở đây, chúng ta đang nói về sự gắn kết với một niềm tin trước đó quy định xác suất bằng không cho một sự kiện riêng biệt thực sự đã xảy ra, vì vậy sự gắn kết với đó không phải là một thanh cao!)

Có một lợi ích lớn khác cho cách tiếp cận này , đó là cho phép Bayesian cập nhật niềm tin của mình để đáp ứng với việc quan sát một sự kiện không có xác suất lấy mẫu theo trước, và đặc biệt, Bayesian giờ đây có thể sửa đổi niềm tin của mình để họ không còn quy định xác suất bằng không cho sự kiện này . Trong ví dụ bạn đưa ra, Bayesian có niềm tin trước đó rằng là gần như chắc chắn, mua sau đó quan sát một sự kiện với xác suất lấy mẫu bằng không có điều kiện về sự kiện này. Bây giờ Bayesian có thể tự do cập nhật niềm tin của mình lên xác suất sau cho không phải là một (và do đó xác suất hậu nghiệm tương ứng cho$X$$X$ ˉ X$\bar{X}$đó không phải là không). Vì vậy, về bản chất, Bayesian bây giờ có thể nói "Ôi chết tiệt! Đó là một sự ngớ ngẩn trước đây! Hãy để tôi cập nhật niềm tin của mình vào sự kiện đó để nó không còn xảy ra gần như chắc chắn nữa!" Hơn nữa, đây không phải là một số thay đổi đặc biệt , mà là một cập nhật "mạch lạc" hợp pháp được thực hiện theo định lý của Bayes.

Có một giả định ngầm trong tất cả các lý do, Bayes hay nói cách khác, rằng chúng ta biết mọi thứ có thể xảy ra và chiếm nó. Nếu một cái gì đó xảy ra là không thể theo mô hình, nó chỉ có nghĩa là giả định đó là sai. Điều nguyên tắc cần làm là quay lại và mở rộng mô hình, và bắt đầu lại. Ít nhất là trong khuôn khổ Bayes, quá trình này tương đối dễ dàng để chính thức hóa - thay vì suy luận trong một mô hình duy nhất, người ta sẽ suy luận trong một tập hợp các mô hình.

Tại một số điểm, khả năng con người của chúng ta để mô hình lồng trong các mô hình phải hết. Ngay cả với trợ giúp tự động (ví dụ: máy tính hoặc bất cứ thứ gì), phải có giới hạn trên đối với sự phức tạp của "mẹ của tất cả các mô hình". Tôi không biết phải làm gì trong hoàn cảnh đó, nhưng chúng tôi chắc chắn ở rất xa đó, khi chúng tôi làm việc với các mô hình tham số điển hình được tìm thấy trong các ứng dụng.

Điều này có liên quan đến lĩnh vực logic. đặc biệt, một tuyên bố sai hàm ý tất cả các tuyên bố khác, đúng hoặc sai. Trong kịch bản của bạn là một tuyên bố sai. Điều này có nghĩa là chúng ta có thể viết cho bất kỳ mệnh đề nào khác . Ví dụ: chúng ta có (nó ngụ ý đuôi) và (nó cũng không có đuôi)!$X$$X\implies S$$S$$X\implies E$$X\implies E^c$

Điều này cũng phù hợp với giải pháp của Ben (đặt phía sau thành bất kỳ giá trị nào bạn muốn). Rõ ràng điều này không thực sự hữu ích trong các ứng dụng mặc dù. Vì tôi khá tự tin vì không cần bất kỳ khuôn khổ toán học nào để tạo ra bất kỳ kết quả nào tôi muốn.

Điều đó có nghĩa là gì, người ta không nên đưa các tuyên bố sai đã biết vào xác suất trước đó của họ. Điều này cũng giống như người ta không nên sử dụng các tuyên bố sai về dữ liệu. Về mặt xử lý các loại vấn đề "thiên nga đen", chúng ta có thể giải quyết vấn đề này bằng cách chỉ định một số cơ hội nhỏ nhưng không khác biệt rằng "các giả định làm việc" của chúng ta là sai. Nếu bạn gọi tuyên bố này là là "các giả định làm việc của tôi là chính xác" và đặt nó trước bằng . Có một số tình huống không thể xảy ra theo giả định hoạt động, điều đó có nghĩa là khả năng đối với một số giá trị của "dữ liệu" tồn tại trong vùng "không thể"$A_w$$p(A_w)=1-\epsilon$$p(d\in D_{impossible}|A_w)=0$$d$$D_{impossible}$khi các giả định làm việc giữ. Gọi sự kiện này . Điều này cũng có nghĩa là . Chúng tôi giả sử rằng (nghĩa là dữ liệu "không thể" có thể nếu giả định làm việc sai). Và cuối cùng là .$Q:=d\in D_{impossible}$$p(Q^c|A_w)=1-p(Q|A_w)=1$$p(Q|A_w^c)=\delta>0$$p(Q^c|A_w^c)=1-p(Q|A_w^c)=1-\delta$

Bây giờ chúng tôi có hai kịch bản. Đầu tiên là dữ liệu là "bình thường" (có nghĩa là là đúng)$Q^c$

Thứ hai là dữ liệu là "không thể" (nghĩa là là đúng)$Q$

Bây giờ hy vọng điều này rất rõ ràng cho thấy rằng nếu các giả định của bạn được thỏa mãn và bạn đã có xác suất trước rất cao, thì hậu thế ít nhất là cao (và thường cao hơn). Vì vậy, bất kỳ giá trị nào cho bạn sử dụng để thể hiện "về cơ bản là không thể" trước khi xem dữ liệu, bạn nên sử dụng một giá trị nhỏ hơn sau khi xem các dự đoán được xác nhận.$\epsilon$

Khi thực hiện tính toán, giả sử sẽ không khiến bạn lạc lối. Vì vậy, bạn "hấp thụ" vào thông tin trước$p(A_w|Q^c)=1$$A_w,Q^c$

Bây giờ, những gì về những điều không thể xảy ra? Sau đó, bạn cần phải giải nén và thay đổi khả năng của bạn và trước theo những gì sai với giả định của bạn.