Làm thế nào chính xác làm Bayes xác định (hoặc giải thích?) Xác suất?

Một phần của chuỗi nỗ lực tìm hiểu Bayesian và người thường xuyên: 1 2 3 4 5 6 7

Tôi nghĩ rằng tôi có được sự khác biệt về cách người Bayes và người thường xuyên tiếp cận lựa chọn giữa các giả thuyết , nhưng tôi không chắc chắn liệu điều đó có nghĩa là giải thích cho tôi cách họ xem xác suất hay không.

Theo những gì tôi hiểu, theo Wiki , một người thường xuyên "xác định" xác suất như sau:

Cho không gian xác suất , , , Trong đó là số lần thử nghiệm được thực hiện và là số lần A xảy ra trong các thử nghiệm đó.∀ Một ∈ F P ( A ) ≈ n $(\Omega, \mathscr{F}, \mathbb{P})$$\forall A \in \mathscr{F}$ ntn$\mathbb{P}(A) \approx \frac{n_A}{n_t}$$n_t$$n_A$

Hơn nữa, .$\mathbb{P}(A) = \lim_{n_t \to \infty} \frac{n_A}{n_t}$

Được rồi, vậy làm thế nào để Bayes xác định xác suất? Trên đây dường như là một cách tiếp cận tính toán xác suất của một sự kiện ngoài việc xác định xác suất.

Bayes dường như giả định một xác suất trước, tiến hành một số thử nghiệm và sau đó cập nhật xác suất của họ, nhưng điều đó dường như không thực sự giải thích cách họ xác định xác suất là gì.

Wiki nói 'Xác suất Bayes là một đại lượng mà chúng ta gán cho mục đích đại diện cho trạng thái tri thức, hoặc trạng thái của niềm tin.'

Nó chính xác nghĩa là gì? Là nhà nước đồng nghĩa với bằng cấp? Ví dụ, trạng thái niềm tin của Walter rằng một đồng tiền cụ thể là công bằng được biểu thị bằng số 0,1 trong khi trạng thái của Jesse tin rằng cùng một đồng tiền là công bằng được biểu thị bằng số 0,2. Đưa ra thông tin mới, trạng thái niềm tin của Walter có thể trở thành 0,96 trong khi trạng thái niềm tin của Jesse có thể trở thành 0,03. Vì vậy, ban đầu, Walter ít có xu hướng tin rằng đồng tiền là công bằng, nhưng về sau Jesse có xu hướng tin rằng đồng tiền này là công bằng?

Tôi hy vọng một cái gì đó về các biểu tượng như người thường xuyên ở trên.

Cùng một trang Wiki cho biết 'Việc giải thích xác suất Bayes có thể được coi là một phần mở rộng của logic mệnh đề cho phép suy luận với các giả thuyết, nghĩa là các mệnh đề mà sự thật hoặc giả của nó là không chắc chắn.' Logic Boolean, tương ứng.

Tôi tin rằng hầu hết 'người thường xuyên' và 'Bayes' sẽ xác định chặt chẽ xác suất theo cùng một cách: thông qua các tiên đề và lý thuyết đo lường của Kolmogorov , điều chỉnh một số vấn đề về hữu hạn so với tính gây nghiện có thể đếm được , tùy thuộc vào người bạn đang nói chuyện. Vì vậy, về mặt 'biểu tượng', tôi cho rằng bạn có thể sẽ tìm thấy ít nhiều cùng một định nghĩa trên bảng. Mọi người đều đồng ý về cách xác suất hành xử .

Tôi muốn nói rằng sự khác biệt chính là trong việc giải thích xác suất là gì . Giải thích ưa thích của tôi (chiến binh Bayesian má) là xác suất là sự thể hiện thông tin mạch lạc về các sự kiện .

'Coherent' ở đây có ý nghĩa kỹ thuật: có nghĩa là nếu tôi trình bày thông tin của mình về thế giới theo xác suất và sau đó sử dụng các xác suất đó để đặt cược cho sự kiện của tôi khi xảy ra hoặc không xảy ra bất kỳ sự kiện nào, tôi chắc chắn rằng tôi không thể được làm cho một kẻ thua cuộc chắc chắn bởi các đại lý cá cược chống lại tôi.

Lưu ý rằng điều này không liên quan đến "tần số tương đối dài hạn"; thật vậy, tôi có thể trình bày mạch lạc thông tin của mình về một sự kiện một lần - như mặt trời nổ vào ngày mai - thông qua ngôn ngữ xác suất. Mặt khác, có vẻ khó khăn hơn (hoặc được cho là ít tự nhiên hơn) để nói về sự kiện "mặt trời sẽ nổ vào ngày mai" về tần suất tương đối dài hạn.

Để tìm hiểu sâu về câu hỏi này, tôi sẽ giới thiệu cho bạn chương đầu tiên của Nguyên tắc bất định (và miễn phí) tuyệt vời của Jay Kadane .

CẬP NHẬT : Tôi đã viết một bài đăng blog tương đối không chính thức minh họa sự gắn kết.

Như đã được lưu ý bởi những người khác, không có định nghĩa xác suất Bayes cụ thể. Chỉ có một cách xác định xác suất, đó là số thực được gán cho một số sự kiện bằng thước đo xác suất, tuân theo các tiên đề của xác suất . Nếu có các định nghĩa khác nhau về xác suất, chúng ta sẽ không thể sử dụng nó một cách nhất quán, vì những người khác nhau sẽ hiểu những điều khác nhau đằng sau nó.

Mặc dù chỉ có một cách chúng ta định nghĩa nó, có nhiều cách để diễn giải xác suất. Xác suất là một khái niệm toán học , không liên quan đến thế giới thực (trích dẫn de Finetti, "xác suất không tồn tại"). Để áp dụng nó vào thế giới thực, chúng ta cần dịch, hoặc diễn giải toán học thành các sự kiện trong thế giới thực. Có nhiều cách khác nhau để diễn giải xác suất, thậm chí cách hiểu khác nhau giữa những người Bayes (kiểm tra Giải thích xác suất trong Từ điển bách khoa toàn thư Stanford để xem xét). Một quan điểm phổ biến nhất liên quan đến thống kê Bayes là quan điểm chủ quan , còn được gọi là xác suất cá nhân .

Theo quan điểm chủ quan, xác suất là một mức độ niềm tin , hoặc mức độ xác nhận . Nó đo lường bao nhiêu người coi một cái gì đó đáng tin. Nó có thể được phân tích, hoặc quan sát, rõ ràng nhất về hành vi cá cược (de Finetti, 1937; xem thêm Savage, 1976; Kemeny, 1955):

Chúng ta hãy giả sử rằng một cá nhân có nghĩa vụ đánh giá tỷ lệ mà tại đó anh ta sẽ sẵn sàng trao đổi quyền sở hữu một số tiền (dương hoặc âm) tùy thuộc vào sự xuất hiện của một sự kiện , để sở hữu tổng số ; chúng ta sẽ nói theo định nghĩa rằng số này là thước đo mức độ xác suất được quy định bởi cá nhân được coi là sự kiện , hay đơn giản hơn, là xác suất của (theo cá nhân được xem xét; thông số kỹ thuật này có thể là ngầm nếu không có sự mơ hồ).$p$$S$$E$$pS$$p$$E$$p$$E$

Đặt cược là một trong những tình huống mà người ta cần định lượng mức độ "có khả năng" anh ta tin vào điều gì đó và thước đo của niềm tin đó rõ ràng là một xác suất. Dịch niềm tin đó thành con số, ít nhất là để đo lường niềm tin, tức là xác suất.

Bruno de Finetti, một trong những nhân vật chính trong số những người theo chủ nghĩa duy tâm, nhận thấy rằng quan điểm chủ quan chủ nghĩa phù hợp với các tiên đề của xác suất và nó cần phải tuân theo chúng:

Nếu chúng tôi chỉ thừa nhận, trước tiên, một sự kiện không chắc chắn chỉ có thể xuất hiện với chúng tôi (a) có thể xảy ra như nhau, (b) có nhiều khả năng hơn, hoặc (c) ít có thể xảy ra sau đó là một sự kiện khác; thứ hai rằng một sự kiện không chắc chắn dường như luôn có khả năng xảy ra với chúng ta, sau đó là một sự kiện không thể xảy ra và ít có khả năng xảy ra sau đó là một sự kiện cần thiết; và cuối cùng, thứ ba là khi chúng ta phán đoán một sự kiện có thể xảy ra hơn thì sự kiện , có khả năng xảy ra hơn là sự kiện , sau đó sự kiện chỉ có thể xuất hiện nhiều khả năng hơn thì$E'$$E$$E''$$E'$$E''$ (thuộc tính bắc cầu), sẽ đủ để thêm vào đó ba tiên đề tầm thường rõ ràng là một thứ tư, bản chất hoàn toàn là chất lượng, để xây dựng chặt chẽ toàn bộ lý thuyết xác suất. Tiên đề thứ tư cho chúng ta biết rằng bất đẳng thức được bảo toàn trong các tổng hợp logic: nếu không tương thích với và với , thì sẽ có thể xảy ra ít nhiều có thể xảy ra sau đó , hoặc chúng sẽ có thể xảy ra như nhau, theo bất cứ nơi nào có thể xảy ra nhiều hơn hoặc ít hơn hoặc chúng có thể xảy ra như nhau. Tổng quát hơn, có thể suy ra rằng hai bất đẳng thức, chẳng hạn như$E$$E_1$$E_2$$E_1 \lor E$$E_2 \lor E$$E_1$$E_2$

$$E_1 \text{ is more probable then } E_2,\\ E_1' \text{ is more probable then } E_2',$$

có thể được thêm vào để cho

$$E_1 \lor E_1' \text{ is more probable then } E_2 \lor E_2'$$

với điều kiện các sự kiện được thêm vào không tương thích với nhau ( với , với ).$E_1$$E_1'$$E_2$$E_2'$

Điểm tương tự được thực hiện bởi nhiều tác giả khác nhau, như Kemeny (1955) hoặc Savage (1972), những người thích de Finetti rút ra mối liên hệ giữa các tiên đề và quan điểm chủ quan của chủ nghĩa xác suất. Họ cũng chỉ ra rằng thước đo niềm tin như vậy cần phải phù hợp với các tiên đề của xác suất (vì vậy nếu nó trông giống như một xác suất và quẻ như một xác suất ...). Hơn nữa, Cox (1946) cho thấy xác suất có thể được coi là một phần mở rộng của logic hình thức vượt ra ngoài nhị phân đúng và sai, cho phép không chắc chắn.

Như bạn có thể thấy, điều này không liên quan gì đến tần số. Tất nhiên, nếu bạn quan sát rằng những người hút thuốc lá nicotine chết vì ung thư thường xuyên hơn những người không hút thuốc, thì theo lý trí, bạn sẽ cho rằng cái chết đó đáng tin hơn đối với người hút thuốc, vì vậy việc giải thích tần số không mâu thuẫn với quan điểm chủ quan. Điều khiến cho việc giải thích như vậy trở nên hấp dẫn là nó cũng có thể được áp dụng cho các trường hợp không liên quan đến tần số (ví dụ như xác suất Donald Trump thắng cuộc bầu cử tổng thống Mỹ năm 2016, xác suất có những dạng sống thông minh khác ở đâu đó ngoài chúng ta, v.v. ). Khi áp dụng quan điểm chủ quan, bạn có thể xem xét các trường hợp như vậy theo cách xác suất và xây dựng các mô hình thống kê về các kịch bản đó (xem ví dụ về dự báo bầu cử của FiveThentyEight, điều đó phù hợp với suy nghĩ về xác suất như đo lường mức độ niềm tin dựa trên bằng chứng có sẵn). Điều này làm cho việc giải thích như vậy rất rộng (một số người nói, quá rộng), vì vậy chúng ta có thể linh hoạt điều chỉnh suy nghĩ xác suất cho các vấn đề khác nhau. Vâng, đó là chủ quan, nhưng de Finetti (1931) thông báo rằng theo định nghĩa thường xuyên dựa trên nhiều giả định phi thực tế, nó không làm cho nó diễn giải "hợp lý" hơn.

de Finetti, B. (1937/1980). La Prévision: Ses Lois Logiques, Ses Nguồn chủ đề. [ Tầm nhìn xa. Luật logic của nó, nguồn chủ quan của nó. ] Annales de l'Institut Henri Poincaré, 7, 1-68.

Kemeny, J. (1955). Cược công bằng và xác suất quy nạp. Tạp chí Logic tượng trưng, ​​20, 263-273.

Man rợ, LJ (1972). Các nền tảng của số liệu thống kê . Dover.

Cox, RT (1946). Xác suất, tần suất và kỳ vọng hợp lý. Tạp chí vật lý Hoa Kỳ, 14 (1), 1-13.

de Finetti, B. (1931/1989). 'Xác suất: Một bài tiểu luận phê bình về lý thuyết xác suất và giá trị của khoa học'. Erkenntni, 31, 169-223.

Tôi sẽ cố gắng trở nên rõ ràng đáng kinh ngạc với thuật ngữ của tôi. Như bạn đã làm, chúng tôi sẽ tập trung vào một đồng tiền, , vì vậy .$X \sim Bernoulli(p)$$Pr(X=1) = p$

Cả Bayes và người thường xuyên đều xem là một biến ngẫu nhiên và họ có chung quan điểm về phân phối xác suất . Tuy nhiên, Bayes cũng sử dụng phân phối xác suất để mô hình tính không chắc chắn của họ về một tham số cố định, trong trường hợp này là .$X$$Pr(X)$$p$

Nếu bây giờ chúng ta hãy để và xác định , như bạn đã chỉ ra$x_1, x_2, \dots \sim Bernoulli(p)$$h_n = \sum_{i=1}^n x_i$

Điều này có liên quan vì là MLE cho . Tuy nhiên, lưu ý rằng đối với bất kỳ số dương (thực tế chúng thậm chí không cần phải dương):$h_n/n$$p$$a,b$

Một điểm của công cụ ước tính là đối với nhỏ, điều này có thể là điên rồ. Ví dụ cực đoan nhất của điều này là khi , ước tính của chúng ta sẽ là hoặc . Điều gì xảy ra nếu chúng ta đặt và sử dụng ước tính thứ hai. Nếu chúng tôi nhận được trên lần lật đầu tiên, ước tính cập nhật của chúng tôi là , lớn hơn nhưng không quá .n n = 1 p 0 1 một = b = 5 1 6 / 11 50 % $h_n/n$$n$$n = 1$$p$$0$$1$$a=b=5$$1$$6/11$$50\%$$1$

Ước tính hạn chế hơn này có thể dễ dàng được rút ra bằng cách thể hiện sự không chắc chắn của chúng tôi về dưới dạng phân phối trước (và cuối cùng là sau). Nếu bạn muốn tìm hiểu ví dụ này một cách sâu sắc thì đây được gọi là Beta-Binomial . Nó liên quan đến việc đặt Beta trước thông số của Phân phối nhị thức và lấy kỳ vọng về kết quả sau.$p$