Làm mịn Laplace và Dirichlet trước

11

Trên bài viết trên wikipedia về làm mịn Laplace (hoặc làm mịn phụ gia), người ta nói rằng theo quan điểm của Bayes,

giá trị này tương ứng với giá trị dự kiến của phân phối sau, sử dụng phân phối Dirichlet đối xứng với tham số như trước. $\alpha$

Tôi hoang mang về cách điều đó thực sự đúng. Ai đó có thể giúp tôi hiểu làm thế nào hai điều đó là tương đương?

Cảm ơn!

— DanielX2010
nguồn

10

Chắc chắn rồi. Đây thực chất là quan sát rằng phân phối Dirichlet là một liên hợp trước cho phân phối đa thức. Điều này có nghĩa là chúng có dạng chức năng tương tự. Bài báo đề cập đến nó, nhưng tôi sẽ chỉ nhấn mạnh rằng điều này xuất phát từ mô hình lấy mẫu đa phương thức. Vì vậy, nhận được nó ...

Các quan sát là về sau, vì vậy hãy giới thiệu một số dữ liệu, , đó là tội danh mục riêng biệt. Chúng tôi quan sát tổng số mẫu . Chúng tôi sẽ giả sử được rút ra từ một bản phân phối không xác định (trên đó chúng tôi sẽ đặt trước trên -simplex). $x$ $K$ $N = \sum_{i=1}^K x_i$ $x$ $\pi$ $\mathrm{Dir}(\alpha)$ $K$

Xác suất sau của cho và dữ liệu là $\pi$ $\alpha$ $x$

p (π | x, α) = p (x | π) p (π | α)

$p(\pi | x, \alpha) = p(x | \pi) p(\pi|\alpha)$

Khả năng, , là phân phối đa thức. Bây giờ hãy viết ra pdf: $p(x|\pi)$

p (x | π) = \frac{N!}{x_{1}! \dots x_{k}!} π_{1}^{x_{1}} \dots π_{k}^{x_{k}}

$p(x|\pi) = \frac{N!}{x_1!\cdots x_k!} \pi_1^{x_1} \cdots \pi_k^{x_k}$

và

p (π | α) = = \frac{1}{B (α)} Π_{Tôi = = 1}^{K} π_{Tôi}^{α - 1}

$p(\pi|\alpha) = \frac{1}{\mathrm{B}(\alpha)} \prod_{i=1}^K \pi_i^{\alpha - 1}$

trong đó . Nhân lên, chúng tôi thấy rằng, $\mathrm{B}(\alpha) = \frac{\Gamma(\alpha)^K}{\Gamma(K\alpha)}$

p (π | α, x) = = p (x | π) p (π | α) α Π_{Tôi = = 1}^{K} π_{Tôi}^{x_{Tôi} + α - 1} .

$p(\pi|\alpha,x) = p(x | \pi) p(\pi|\alpha) \propto \prod_{i=1}^K \pi_i^{x_i + \alpha - 1}.$

Nói cách khác, hậu thế cũng là Dirichlet. Câu hỏi là về ý nghĩa sau. Vì hậu thế là Dirichlet, chúng ta có thể áp dụng công thức cho giá trị trung bình của Dirichlet để tìm ra rằng,

E [π_{Tôi} | α, x] = = \frac{x_{Tôi} + α}{N + K α} .

$E[\pi_i | \alpha, x] = \frac{x_i + \alpha}{N + K\alpha}.$

Hi vọng điêu nay co ich!

— Vâng
nguồn

p (π | α, x) = p (x | π) p (π | α) / p (x | α),

$p(\pi | \alpha, x) = p(x | \pi)p(\pi | \alpha)/p(x | \alpha),$ vì vậy không sai khi nói rằngChúng tỷ lệ thuận với , nhưng tôi nghĩ việc viết một đẳng thức là không đúng.

p (π | α, x) = p (x | π) p (π | α) ?

$p(\pi | \alpha, x) = p(x | \pi)p(\pi | \alpha)?$

π

$\pi$

— michal

Tôi đã bối rối về điều này trong một thời gian dài, và tôi muốn chia sẻ nhận thức của mình. Những người này thúc đẩy làm mịn Laplace bởi Dirichlet đang sử dụng Ý nghĩa Posterior, chứ không phải MAP. Để đơn giản, giả sử phân phối Beta (trường hợp đơn giản nhất của Dirichlet) Giá trị trung bình sau là

trong khi MAP là

\frac{α + n_{s u c c e s s}}{α + β + n_{s u c c e s s} + n_{f a i l u r e s}}

$\frac{\alpha + n_{success}}{\alpha + \beta + n_{success} + n_{failures}}$

. Vì vậy, nếu ai đó nói

tương ứng với thêm 1 tới tử số và mẫu số 2 đến, đó là vì họ đang sử dụng Posterior Mean.

\frac{α + n_{s u c c e s s} - 1}{α + β + n_{s u c c e s s} + n_{f a i l u r e s} - 2}

$\frac{\alpha + n_{success} - 1}{\alpha + \beta + n_{success} + n_{failures} - 2}$

α = β = 1

$\alpha = \beta = 1$

— RMurphy

0

Là một lưu ý phụ, tôi cũng muốn thêm một điểm nữa vào đạo hàm trên, điều này không thực sự liên quan đến câu hỏi chính. Tuy nhiên, nói về các linh mục Dirichlet về phân phối đa quốc gia, tôi nghĩ rằng đáng để đề cập rằng hình thức của hàm khả năng là gì nếu chúng ta sẽ lấy xác suất làm biến số phiền toái.

$p(\pi | \alpha, x)$ $\prod_{i=1}^{K} \, \pi_i^{x_i+\alpha-1}$ $p(x|\alpha)$

p (x | α) = = \int Π_{Tôi = = 1}^{K} p (x | π_{Tôi}, α) p (π | α) d π_{1} d π_{2} . . . d π_{K}

$\begin{equation} p(x | \alpha) = \int \prod_{i=1}^{K}p(x | \pi_i, \alpha)p(\pi|\alpha) \mathrm{d} \pi_1 \mathrm{d} \pi_2 ...\mathrm{d} \pi_K \end{equation}$

p (x | α) = = \frac{Γ (K α)}{Γ (N + K α)} Π_{Tôi = = 1}^{K} \frac{Γ (x_{Tôi} + α)}{Γ (α)}

$\begin{equation} p(x|\alpha) = \frac{\Gamma(K\alpha)}{\Gamma(N + K\alpha)} \prod_{i=1}^{K} \frac{\Gamma(x_i + \alpha)}{\Gamma(\alpha)} \end{equation}$

$N$

— omidi
nguồn