Tại sao không sử dụng định lý Bayes theo hình thức

Có rất nhiều câu hỏi (như thế này ) về một số sự mơ hồ với công thức Bayes trong trường hợp liên tục.

p (θ | x) = \frac{p (x | θ) \cdot p (θ)}{p (x)}

$p(\theta | x) = \frac{p(x | \theta) \cdot p(\theta)}{p(x)}$

Thông thường, sự nhầm lẫn xuất phát từ thực tế là định nghĩa phân phối có điều kiện $f(variable | parameter)$ được giải thích là $f$ là chức năng của $variable$ được cố định $parameter$ .

Cùng với điều đó, có một nguyên tắc tương đương nói rằng khả năng có thể được viết như sau:

L (θ | x) = p (x | θ)

$L(\theta | x) = p(x | \theta)$

Vậy tại sao không sử dụng quy tắc Bayes cho các bản phân phối theo mẫu sau:

p (θ | x) = \frac{L (θ | x) \cdot p (θ)}{p (x)}

$p(\theta | x) = \frac{L(\theta | x) \cdot p(\theta)}{p(x)}$

nhấn mạnh rằng chúng ta đang đối phó với chức năng của $\theta$ cho dữ liệu quan sát được $x$ , và rằng thuật ngữ tương ứng là khả năng (ít nhất, bắt đầu với $L$ )?

Đây có phải là một vấn đề của truyền thống, hoặc có một cái gì đó cơ bản hơn trong thực hành này?

— iot
nguồn

Ý nghĩa của

gì? Tôi biết điều này như một xác suất. Nhưng trong trường hợp liên tục, tôi không thấy xác suất bạn đang nói về.

p (\cdot)

$p(\cdot)$

— Sextus Empiricus

@MartijnWeterings, chức năng

nên có giá trị phân bố xác suất trong tất cả các trường hợp ngoại trừ khi nó là "khả năng" của hình thức

. Tui bỏ lỡ điều gì vậy?

p (\cdot)

$p(\cdot)$

p (x | θ)

$p(x|\theta)$

— iot

Bạn có ý nghĩa gì bởi phân phối xác suất? Tích lũy, mật độ, vv?

— Sextus Empiricus

Nó có thể giúp lùi lại và nhận ra rằng không có "biến" trong định lý Bayes, ít nhất là khi bạn sử dụng thuật ngữ này. Có điểm dữ liệu và có tham số mô hình. Theo nghĩa này,

. Bạn gọi một sinh vật giống như

mà sau đó bạn gọi đó là khả năng. Nhưng nó không phải là. Vì vậy, tôi không chắc chắn nơi bạn sẽ đi với điều này. Và nói chung

P (m o d e l | d a t a) P (d a t a) = P (d a t a, m o d e l) = P (d a t a | m o d e l) P (m o d e l)

$P(model|data)P(data) = P(data,model)=P(data|model)P(model)$

P (m o d e l | d a t a)

$P(model|data)$

là vô nghĩa trong trường hợp

và

thậm chí không có sự hỗ trợ tương tự.

p (x | y) = p (y | x) ⟹ p (x) = p (y)

$p(x|y) = p(y|x) \implies p(x)=p(y)$

x = d a t a

$x=data$

y = m o d e l .

$y=model.$

x

$x$

y

$y$

— Peter Leopold

Kiểm tra số liệu thống kê.stackexchange.com/a/224299/35989

— Tim

Câu trả lời:

Có hai kết quả cơ bản từ xác suất đang hoạt động trong định lý của Bayes. Một là cách viết lại hàm mật độ xác suất chung :

p (x, y) = p (x | y) p (y) .

$p(x,\,y)=p(x\,|\,y)p(y).$

Cái còn lại là một công thức để tính toán hàm mật độ xác suất có điều kiện :

p (y | x) = \frac{p (x, y)}{p (x)} .

$p(y\,|\,x)=\frac{p(x,\,y)}{p(x)}.$

Định lý Bayes chỉ khâu hai thứ này lại với nhau:

p (θ | x) = \frac{p (x, θ)}{p (x)} = \frac{p (x | θ) p (θ)}{p (x)}

$p(\theta\,|\,x)=\frac{p(x,\,\theta)}{p(x)}=\frac{p(x\,|\,\theta)p(\theta)}{p(x)}$

$x$ $\theta$

p (x, θ) = p (x | θ) p (θ),

$p(x,\,\theta)=p(x\,|\,\theta)p(\theta),$

L

$L$

Như đã nói, bạn sẽ thấy mọi người sử dụng, như ở đây hoặc ở đây .

— jcz
nguồn

θ

$\theta$

p (x | θ)

$p(x\,|\,\theta)$

θ

$\theta$

L (θ) = p (x | θ)

$L(\theta)=p(x\,|\,\theta)$

{\hat{θ}}_{M L E} = \arg max L (θ)

$\hat{\theta}_{MLE}={\arg\max}\,L(\theta)$

p (x | θ)

$p(x\,|\,\theta)$

x

$x$

θ

$\theta$

θ

$\theta$

L (\cdot)

$L(\cdot)$

Hàm khả năng chỉ tỷ lệ thuận với mật độ lấy mẫu, theo nghĩa là bạn có cho một số hằng số (mặc dù bạn nên lưu ý rằng khả năng là một hàm của tham số, không phải dữ liệu). Nếu bạn muốn sử dụng điều này trong biểu thức của bạn cho định lý Bayes thì bạn cần bao gồm hằng số tỷ lệ tương tự trong mẫu số: $L_x(\theta) = k \cdot p(x|\theta)$ $k > 0$

p (θ | x) = \frac{L_{x} (θ) \cdot p (θ)}{k \cdot p (x)} = \frac{L_{x} (θ) \cdot p (θ)}{\int L_{x} (θ) \cdot p (θ) d θ} \propto L_{x} (θ) \cdot p (θ) .

$p(\theta|x) = \frac{L_x(\theta) \cdot p(\theta)}{k \cdot p(x)} = \frac{L_x(\theta) \cdot p(\theta)}{\int L_x(\theta) \cdot p(\theta) \ d \theta} \propto L_x(\theta) \cdot p(\theta).$

Thay vào đó, nếu bạn sử dụng công thức bạn đã đề xuất, thì bạn sẽ kết thúc với một hạt nhân có mật độ sau, nhưng nó có thể không tích hợp với một (và do đó nó không phải là mật độ chung).

— Ben - Phục hồi Monica
nguồn

Tôi thích câu trả lời của bạn, nhưng trong công thức gốc với được cố định (bối cảnh Bayes) cũng không phải là phân phối xác suất hợp lệ và cũng là một hệ số tỷ lệ không bằng 1. Vậy, tại sao bạn có nghĩ rằng

p (x | θ)

$p(x|\theta)$

x

$x$

p (x)

$p(x)$

k

$k$

p (x | θ) = Bin (x | n, θ)

$p(x|\theta) = \text{Bin}(x|n,\theta)$

L_{x} (θ) = θ^{x} (1 - θ)^{n - x}

$L_x(\theta) = \theta^x (1-\theta)^{n-x}$

k = (\binom{n}{x})

$k = {n \choose x}$ , thường không bằng một.

— Ben - Tái lập Monica

Vì vậy, quan điểm của bạn là có một quy ước rằng khả năng thường không có các hằng số không cần thiết và vì vậy phiên bản của iot có thể gây hiểu lầm cho các nhà thống kê?

— garej

Mặc dù đó thực sự là một cách thông thường để đặt khả năng, nhưng vấn đề ở đây là hàm khả năng thường chỉ được xác định theo tỷ lệ, do đó không có gì đảm bảo rằng trong hoạt động trên.

k = 1

$k=1$

— Ben - Tái lập Monica

Đây là lần đầu tiên tôi đọc rằng khả năng tỷ lệ thuận với mật độ. Đối với tôi, đây chỉ là một sự kéo dài và có thể sai. Vấn đề nằm ở thuật ngữ chồng chéo. Chúng ta không nên gọi mật độ là khả năng, theo quy tắc của Bayes, nhưng chúng ta tiếp tục làm điều đó.

— nbro