Khả năng so với xác suất

Tôi gặp khó khăn với Khả năng . Tôi hiểu định lý của Bayes

p (A | B, H) = \frac{p (B | A, H) p (A | H)}{p (B | H)}

$p(A|B, \mathcal{H}) = \frac{p(B|A, \mathcal{H}) p(A|\mathcal{H})}{p(B|\mathcal{H})}$

có thể suy ra trực tiếp từ việc áp dụng $p(A,B) = p(B) \cdot p(A|B) = p (A) p(B|A) = p(B,A)$ . Vì vậy, theo cách giải thích của tôi, $p(\cdot)$ các hàm trong Định lý Bayes bằng cách nào đó tất cả các xác suất, có thể là cận biên hoặc có điều kiện. Vì vậy, tôi đã thực sự nghĩ rằng Khả năng như một khái niệm là quan điểm thường xuyên hơn về xác suất nghịch đảo.

Tuy nhiên, bây giờ tôi đã nhiều lần thấy các tuyên bố trong sách của Bayes nói rằng khả năng đó không phải là phân phối xác suất. Đọc cuốn sách của MacKay ngày hôm qua, tôi tình cờ thấy câu nói sau đây

"[...] Điều quan trọng cần lưu ý là các thuật ngữ khả năng và xác suất không phải là từ đồng nghĩa. Đại lượng $P(n_b|u,N)$ là khoảng cách của cả $n_B$ và $u$ . Đối với $u$ , cố định $P(n_b|u,N)$ xác định xác suất trên $n_B$ , đối với $n_B$ , $P(n_B|u,N)$ định xác định độ giống nhau của $u$ . "

Tôi hiểu điều này như sau: $p(A|B)$ là xác suất của $A$ theo cho $B$ , do đó $\text{probability} : \mathcal{A}\to [0,1]$ . Nhưng xem xét một giá trị nhất định $a \in A$ và đánh giá $p(A=a|B)$ 's sự phụ thuộc vào nhau $b\in\mathcal{B}$ ' s chúng ta đang thực sự sử dụng một chức năng khác nhau $L : \mathcal{B}\to[0,1]$ .
Giải thích này có đúng không?
Sau đó, người ta có thể nói rằng các phương pháp khả năng tối đa có thể được thúc đẩy bởi định lý Bayes, trong đó ưu tiên được chọn là không đổi?

probability likelihood

— tin tưởng
nguồn

Là một yếu tố của câu trả lời, tôi khuyên bạn câu trả lời với các liên kết của Stephane Laurent trong mathoverflow.net/questions/10971/ . Hy vọng nó giúp.

— peuhp

Tôi nghĩ có lẽ cách tốt nhất để giải thích khái niệm khả năng là xem xét một ví dụ cụ thể. Giả sử tôi có một mẫu quan sát IID rút ra từ một phân phối với chưa biết xác suất thành công Bernoulli : , , do đó hàm khối xác suất doanh của mẫu là Biểu thức này cũng đặc trưng cho khả năng của $p$ $X_i \sim {\rm Bernoulli}(p)$ $i = 1, \ldots, n$

Pr [X = x ∣ p] = \prod_{i = 1}^{n} p^{x_{i}} (1 - p)^{1 - x_{i}} .

$\Pr[{\boldsymbol X} = \boldsymbol x \mid p] = \prod_{i=1}^n p^{x_i} (1-p)^{1-x_i}.$

p

$p$ , được cung cấp một mẫu quan sát : Nhưng nếu chúng ta nghĩ là một biến ngẫu nhiên, thì khả năng này không phải là mật độ: Tuy nhiên, tỷ lệ này là mật độ xác suất, đó là lý do tại sao chúng tôi nói rằng khả năng là một giá trị cụ thể được đưa ra cho mẫu - theo một cách nào đó, tính hợp lý của là một giá trị nào đó cho các quan sát chúng tôi thực hiện.

x = (x_{1}, \dots, x_{n})

$\boldsymbol x = (x_1, \ldots, x_n)$

L (p ∣ x) = \prod_{i = 1}^{n} p^{x_{i}} (1 - p)^{1 - x_{i}} .

$L(p \mid \boldsymbol x) = \prod_{i=1}^n p^{x_i} (1-p)^{1-x_i}.$

p

$p$

\int_{p = 0}^{1} L (p ∣ x) d p \neq 1.

$\int_{p=0}^1 L(p \mid \boldsymbol x) \, dp \ne 1.$

p

$p$

p

$p$

Chẳng hạn, giả sử và mẫu là . Theo trực giác, chúng tôi sẽ kết luận rằng có nhiều khả năng gần với hơn , bởi vì chúng tôi quan sát thấy nhiều hơn. Thật vậy, chúng ta có Nếu chúng ta vẽ đồ thị hàm này trên , chúng ta có thể thấy khả năng xác nhận trực giác của chúng ta như thế nào. Tất nhiên, chúng ta không biết giá trị thực của --it có thể là chứ không phải , nhưng hàm khả năng cho chúng ta biết rằng cái trước ít có khả năng hơn cái sau. Nhưng nếu chúng ta muốn xác định một xác suất $n = 5$ $\boldsymbol x = (1, 1, 0, 1, 1)$ $p$ $1$ $0$

L (p ∣ x) = p^{4} (1 - p) .

$L(p \mid \boldsymbol x) = p^4 (1 - p).$

p \in [0, 1]

$p \in [0,1]$

p

$p$

p = 0.25

$p = 0.25$

p = 0.8

$p = 0.8$ rằng nằm trong một khoảng nhất định, chúng ta phải bình thường hóa khả năng: vì , nó theo sau để có được mật độ sau cho , chúng ta phải nhân với : Trong thực tế, hậu thế này là một bản phân phối beta với các tham số . Bây giờ các khu vực dưới mật độ tương ứng với xác suất.

p

$p$

\int_{p = 0}^{1} p^{4} (1 - p) d p = \frac{1}{30}

$\int_{p=0}^1 p^4(1-p) \, dp = \frac{1}{30}$

p

$p$

30

$30$

f_{p} (p ∣ x) = 30 p^{4} (1 - p) .

$f_p(p \mid \boldsymbol x) = 30p^4(1-p).$

a = 5, b = 2

$a = 5, b = 2$

Vì vậy, những gì chúng tôi đã thực hiện ở đây được áp dụng quy tắc của Bayes: Ở đây, là phân phối trước trên (các) tham số , tử số là khả năng đó cũng là sự phân phối chung của

f_{Θ} (θ ∣ x) = \frac{f_{X} (x ∣ θ) f_{Θ} (θ)}{f_{X} (x)} .

$f_{\boldsymbol \Theta}(\boldsymbol \theta \mid \boldsymbol x) = \frac{f_{\boldsymbol X}(\boldsymbol x \mid \boldsymbol \theta) f_{\boldsymbol \Theta}(\boldsymbol \theta)}{f_{\boldsymbol X}(\boldsymbol x)}.$

f_{Θ} (θ)

$f_{\boldsymbol \Theta}(\boldsymbol \theta)$

θ

$\boldsymbol \theta$

L (θ ∣ x) = f_{X} (x ∣ θ) f_{Θ} (θ) = f_{X, Θ} (x, θ)

$L(\boldsymbol \theta \mid \boldsymbol x) = f_{\boldsymbol X}(\boldsymbol x \mid \boldsymbol \theta) f_{\boldsymbol \Theta}(\boldsymbol \theta) = f_{\boldsymbol X, \boldsymbol \Theta}(\boldsymbol x, \boldsymbol \theta)$

X, Θ

$\boldsymbol X, \boldsymbol \Theta$ và mẫu số là mật độ biên (vô điều kiện) của , thu được bằng cách tích hợp phân phối chung với để tìm hằng số chuẩn hóa với khả năng mật độ xác suất với liên quan đến (các) tham số. Trong ví dụ bằng số của chúng tôi, chúng tôi mặc nhiên lấy ưu tiên cho để thống nhất trên . Có thể chỉ ra rằng, đối với mẫu Bernoulli, nếu trước đó là , thì hậu thế cho cũng là Beta, nhưng với tham số ,

X

$\boldsymbol X$

θ

$\boldsymbol \theta$

f_{Θ}

$f_{\boldsymbol \Theta}$

[0, 1]

$[0,1]$

B e t a (a, b)

${\rm Beta}(a,b)$

f_{Θ}

$f_{\boldsymbol \Theta}$

a^{*} = a + \sum x_{i}

$a^* = a+\sum x_i$

b^{*} = b + n - \sum x_{i}

$b^* = b + n - \sum x_i$ . Chúng tôi gọi một liên hợp trước đó (và gọi đây là một cặp liên hợp Bernoulli-Beta).

— chăn nuôi
nguồn