Khả năng so với phân phối có điều kiện để phân tích Bayes

11

Chúng ta có thể viết định lý Bayes như

p (θ | x) = \frac{f (X | θ) p (θ)}{\int_{θ} f (X | θ) p (θ) d θ}

$p(\theta|x) = \frac{f(X|\theta)p(\theta)}{\int_{\theta} f(X|\theta)p(\theta)d\theta}$

Trong đó là hậu thế, là phân phối có điều kiện và là trước. $p(\theta|x)$ $f(X|\theta)$ $p(\theta)$

hoặc là

p (θ | x) = \frac{L (θ | x) p (θ)}{\int_{θ} L (θ | x) p (θ) d θ}

$p(\theta|x) = \frac{L(\theta|x)p(\theta)}{\int_{\theta} L(\theta|x)p(\theta)d\theta}$

Trong đó là hậu thế, là hàm khả năng và là trước. $p(\theta|x)$ $L(\theta|x)$ $p(\theta)$

Câu hỏi của tôi là

Tại sao phân tích Bayes được thực hiện bằng cách sử dụng hàm khả năng chứ không phải phân phối có điều kiện?
Bạn có thể nói bằng lời rằng sự khác biệt giữa khả năng và phân phối có điều kiện là gì? Tôi biết khả năng không phải là phân phối xác suất và . $L(\theta|x) \propto f(X|\theta)$

bayesian likelihood

— kzoo
nguồn

1

Không có sự khác biệt! Khả năng là phân phối có điều kiện , tỷ lệ thuận với, đó là tất cả những gì quan trọng.

f (X | θ)

$f(X | \theta)$

— kjetil b halvorsen

Tham số trước có mật độ . nếu việc thực hiện các có giá trị khi là giá trị quan sát của một biến ngẫu nhiên , thì giá trị của hàm likelihood là chính xác , giá trị của mật độ có điều kiện

của

. Sự khác biệt là

Θ

$\Theta$

p_{Θ} (θ)

$p_\Theta(\theta)$

Θ

$\Theta$

θ

$\theta$

x

$x$

X

$X$

L (θ ∣ x)

$L(\theta\mid x)$

f (x ∣ θ)

$f(x\mid \theta)$

f_{X ∣ Θ} (x ∣ Θ = θ)

$f_{X\mid\Theta}(x\mid\Theta=\theta)$

X

$X$

chotất cả cácchứng ngộ của

. Tuy nhiên, như một chức năng của

(và cố định

),

làkhôngmột mật độ:

\int_{- \infty}^{\infty} f_{X ∣ Θ} (x ∣ Θ = θ) d x = 1

$\int_{-\infty}^{\infty}f_{X\mid\Theta}(x\mid\Theta=\theta)dx=1$

Θ

$\Theta$

θ

$\theta$

x

$x$

L (θ ∣ x)

$L(\theta\mid x)$

\int L (θ ∣ x) d θ \neq 1

$\int L(\theta\mid x)d\theta\neq 1$

— Dilip Sarwate

10

Giả sử rằng bạn có biến ngẫu nhiên (có giá trị này sẽ được quan sát trong thí nghiệm của bạn) mà là có điều kiện độc lập, cho rằng , với điều kiện mật độ $X_1,\dots,X_n$ $\Theta=\theta$ , cho . Đây là của bạn (mặc nhiên công nhận) thống kê (có điều kiện) mô hình, và mật độ có điều kiện thể hiện, cho mỗi giá trị có thể của (ngẫu nhiên) tham số , sự không chắc chắn của bạn về các giá trị của 's,trước khibạn có quyền truy cập vào bất kỳ thực dữ liệu. Ví dụ, với sự trợ giúp của mật độ có điều kiện, bạn có thể tính toán các xác suất có điều kiện như $f_{X_i\mid\Theta}(\,\cdot\mid\theta)$ $i=1,\dots,n$ $\theta$ $\Theta$ $X_i$ Cho mỗi .

P {X_{1} \in B_{1}, \dots, X_{n} \in B_{n} ∣ Θ = θ} = \int_{B_{1} \times \dots \times B_{n}} \prod_{i = 1}^{n} f_{X_{i} ∣ Θ} (x_{i} ∣ θ) d x_{1} \dots d x_{n},

$P\{X_1\in B_1,\dots,X_n\in B_n\mid \Theta=\theta\} = \int_{B_1\times\dots\times B_n} \prod_{i=1}^n f_{X_i\mid\Theta}(x_i\mid\theta)\,dx_1\dots dx_n \, ,$

θ

$\theta$

Sau khi bạn có quyền truy cập vào một mẫu thực tế của các giá trị (ngộ) của 's đã được quan sát thấy trong một lần chạy thử nghiệm của mình, những thay đổi tình hình: không có sự không chắc chắn còn về quan sát . Giả sử rằng ngẫu nhiên giả định giá trị trong một số không gian tham số . Bây giờ, bạn xác định, đối với những giá trị đã biết (cố định) một hàm $(x_1,\dots,x_n)$ $X_i$ $X_1,\dots,X_n$ $\Theta$ $\Pi$ $(x_1,\dots,x_n)$

L_{x_{1}, \dots, x_{n}} : Π \to R

$L_{x_1,\dots,x_n} : \Pi \to \mathbb{R} \,$ bởi

Lưu ý rằng

, được gọi là "hàm likelihood" là một chức năng của

. Trong tình huống "sau khi bạn có dữ liệu" này, khả năng

chứa, đối với mô hình điều kiện cụ thể mà chúng tôi đang xem xét, tất cả thông tin về tham số

có trong mẫu cụ thể này. Trên thực tế,là một thống kê đủ cho.

L_{x_{1}, \dots, x_{n}} (θ) = \prod_{i = 1}^{n} f_{X_{i} ∣ Θ} (x_{i} ∣ θ) .

$L_{x_1,\dots,x_n}(\theta)=\prod_{i=1}^n f_{X_i\mid\Theta}(x_i\mid\theta) \, .$

L_{x_{1}, \dots, x_{n}}

$L_{x_1,\dots,x_n}$

θ

$\theta$

L_{x_{1}, \dots, x_{n}}

$L_{x_1,\dots,x_n}$

Θ

$\Theta$

(x_{1}, \dots, x_{n})

$(x_1,\dots,x_n)$

L_{x_{1}, \dots, x_{n}}

$L_{x_1,\dots,x_n}$

Θ

$\Theta$

Trả lời câu hỏi của bạn, để hiểu sự khác biệt giữa các khái niệm về mật độ có điều kiện và khả năng, hãy ghi nhớ các định nghĩa toán học của chúng (khác nhau rõ ràng: chúng là các đối tượng toán học khác nhau, với các tính chất khác nhau) và cũng nhớ rằng mật độ có điều kiện là "trước -sample "đối tượng / khái niệm, trong khi khả năng là một" mẫu sau ". Tôi hy vọng rằng tất cả những điều này cũng giúp bạn trả lời tại sao suy luận Bayes (sử dụng cách đặt của bạn, mà tôi không nghĩ là lý tưởng) được thực hiện "sử dụng hàm khả năng chứ không phải phân phối có điều kiện": mục tiêu của suy luận Bayes là để tính toán phân phối sau và để làm như vậy, chúng tôi dựa trên dữ liệu được quan sát (đã biết).

— thiền học
nguồn

Tôi nghĩ Zen là chính xác khi ông nói rằng khả năng và xác suất có điều kiện là khác nhau. Trong hàm khả năng không phải là một biến ngẫu nhiên, do đó nó khác với xác suất có điều kiện.

— Martine

1

Tỷ lệ được sử dụng để đơn giản hóa phân tích

$f(X|\theta)$

p (θ | x) \propto L_{x} (θ) \cdot p (θ) L_{x} (θ) \propto \prod_{i = 1}^{n} f (x_{i} | θ) .

$p(\theta|\mathbf{x}) \propto L_\mathbf{x}(\theta) \cdot p(\theta) \quad \quad \quad \quad L_\mathbf{x}(\theta) \propto \prod_{i=1}^n f(x_i|\theta).$

$\theta$

$X_1, ..., X_n \sim \text{IID N}(\theta, 1)$ $\bar{x} = \tfrac{1}{n} \sum_{i=1}^n x_i$ $\bar{\bar{x}} = \tfrac{1}{n} \sum_{i=1}^n x_i^2$

\begin{aligned} f (x | θ) = \prod_{i = 1}^{n} f (x_{i} | θ) & = \prod_{i = 1}^{n} N (x_{i} | θ, 1) \\ = \prod_{i = 1}^{n} \frac{1}{\sqrt{2 π}} \exp (- \frac{1}{2} (x_{i} - θ)^{2}) \\ = (2 π)^{n / 2} \exp (- \frac{1}{2} \sum_{i = 1}^{n} (x_{i} - θ)^{2}) . \\ = (2 π)^{n / 2} \exp (- \frac{n}{2} (θ^{2} - 2 \bar{x} θ + \bar{\bar{x}})) \\ = (2 π)^{n / 2} \exp (- \frac{n \bar{\bar{x}}}{2}) \cdot \exp (- \frac{n}{2} (θ^{2} - 2 \bar{x} θ)) \end{aligned}

$\begin{equation} \begin{aligned} f(\mathbf{x}|\theta) = \prod_{i=1}^n f(x_i|\theta) &= \prod_{i=1}^n \text{N}(x_i|\theta,1) \\[6pt] &= \prod_{i=1}^n \frac{1}{\sqrt{2 \pi}} \exp \Big( -\frac{1}{2} (x_i-\theta)^2 \Big) \\[6pt] &= (2 \pi)^{n/2} \exp \Big( -\frac{1}{2} \sum_{i=1}^n (x_i-\theta)^2 \Big). \\[6pt] &= (2 \pi)^{n/2} \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta + \bar{\bar{x}} ) \Big) \\[6pt] &= (2 \pi)^{n/2} \exp \Big( -\frac{n \bar{\bar{x}}}{2} \Big) \cdot \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta ) \Big) \\[6pt] \end{aligned} \end{equation}$

$\theta$

L_{x} (θ) = \exp (- \frac{n}{2} (θ^{2} - 2 \bar{x} θ)) .

$L_\mathbf{x}(\theta) = \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta ) \Big).$

$\theta$ $\theta \sim \text{N}(0,\lambda_0)$ $\lambda_0>0$

\begin{aligned} p (θ | x) & \propto L_{x} (θ) \cdot p (θ) \\ = \exp (- \frac{n}{2} (θ^{2} - 2 \bar{x} θ)) \cdot N (θ | 0, λ_{0}) \\ \propto \exp (- \frac{n}{2} (θ^{2} - 2 \bar{x} θ)) \cdot \exp (- \frac{λ_{0}}{2} θ^{2}) \\ = \exp (- \frac{1}{2} (n θ^{2} - 2 n \bar{x} θ + λ_{0} θ^{2})) \\ = \exp (- \frac{1}{2} ((n + λ_{0}) θ^{2} - 2 n \bar{x} θ)) \\ = \exp (- \frac{n + λ_{0}}{2} (θ^{2} - 2 \frac{n \bar{x}}{n + λ_{0}} θ)) \\ \propto \exp (- \frac{n + λ_{0}}{2} (θ - \frac{n}{n + λ_{0}} \cdot \bar{x})^{2}) \\ \propto N (θ | \frac{n}{n + λ_{0}} \cdot \bar{x}, n + λ_{0}) . \end{aligned}

$\begin{equation} \begin{aligned} p(\theta|\mathbf{x}) &\propto L_\mathbf{x}(\theta) \cdot p(\theta) \\[10pt] &= \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta ) \Big) \cdot \text{N}(\theta|0,\lambda_0) \\[6pt] &\propto \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta ) \Big) \cdot \exp \Big( -\frac{\lambda_0}{2} \theta^2 \Big) \\[6pt] &= \exp \Big( -\frac{1}{2} ( n\theta^2 - 2n\bar{x} \theta + \lambda_0 \theta^2 ) \Big) \\[6pt] &= \exp \Big( -\frac{1}{2} ( (n+\lambda_0) \theta^2 - 2n\bar{x} \theta ) \Big) \\[6pt] &= \exp \Big( -\frac{n+\lambda_0}{2} \Big( \theta^2 - 2 \frac{n\bar{x}}{n+\lambda_0} \theta \Big) \Big) \\[6pt] &\propto \exp \Big( -\frac{n+\lambda_0}{2} \Big( \theta - \frac{n}{n+\lambda_0} \cdot \bar{x} \Big)^2 \Big) \\[6pt] &\propto \text{N}\Big( \theta \Big| \frac{n}{n+\lambda_0} \cdot \bar{x}, n+\lambda_0 \Big). \\[6pt] \end{aligned} \end{equation}$

Vì vậy, từ công việc này, chúng ta có thể thấy rằng phân phối sau tỷ lệ thuận với mật độ bình thường. Vì hậu thế phải là mật độ, điều này ngụ ý rằng hậu thế là mật độ bình thường:

p (θ | x) = N (θ | \frac{n}{n + λ_{0}} \cdot \bar{x}, n + λ_{0}) .

$p(\theta|\mathbf{x}) = \text{N}\Big( \theta \Big| \frac{n}{n+\lambda_0} \cdot \bar{x}, n+\lambda_0 \Big).$

$\theta$

E (θ | x) = \frac{n}{n + λ_{0}} \cdot \bar{x} V (θ | x) = \frac{1}{n + λ_{0}} .

$\mathbb{E}(\theta|\mathbf{x}) = \frac{n}{n+\lambda_0} \cdot \bar{x} \quad \quad \quad \quad \mathbb{V}(\theta|\mathbf{x}) = \frac{1}{n+\lambda_0}.$

Bây giờ, phân phối sau mà chúng ta đã nhận được có một hằng số tích hợp ở phía trước của nó (mà chúng ta có thể dễ dàng tìm thấy bằng cách tìm kiếm hình thức phân phối bình thường ). Nhưng lưu ý rằng chúng ta không phải lo lắng về hằng số nhân này - tất cả các công việc nhân của chúng ta đã loại bỏ (hoặc đưa vào) các hằng số nhân bất cứ khi nào điều này đơn giản hóa toán học. Kết quả tương tự có thể được rút ra trong khi theo dõi các hằng số nhân, nhưng điều này phức tạp hơn nhiều.

— Ben - Phục hồi Monica
nguồn

0

$_i$

Vấn đề này đã xuất hiện trong các câu hỏi khác được thảo luận trên trang web này liên quan đến chức năng khả năng. Ngoài ra các ý kiến khác của kjetil và Dilip dường như ủng hộ những gì tôi đang nói.

— Michael R. Chernick
nguồn