Tại sao phân phối Dirichlet là ưu tiên cho phân phối đa quốc gia?

36

Trong thuật toán mô hình chủ đề LDA, tôi thấy giả định này. Nhưng tôi không biết tại sao lại chọn phân phối Dirichlet? Tôi không biết liệu chúng ta có thể sử dụng phân phối Đồng nhất trên Đa nhóm như một cặp không?

bayesian dirichlet-distribution conjugate-prior

— ColinBinWang
nguồn

5

Phân phối đồng đều là một trường hợp đặc biệt của phân phối dirichlet.

— Stumpy Joe Pete

60

Các phân phối Dirichlet là một liên hợp trước cho việc phân phối đa thức. Điều này có nghĩa là nếu phân phối trước của các tham số đa cực là Dirichlet thì phân phối sau cũng là phân phối Dirichlet (với các tham số khác với các tham số trước). Lợi ích của việc này là (a) phân phối sau dễ dàng tính toán và (b) theo một nghĩa nào đó có thể định lượng được niềm tin của chúng ta đã thay đổi bao nhiêu sau khi thu thập dữ liệu.

Chắc chắn có thể thảo luận liệu đây có phải là lý do chính đáng để chọn ưu tiên cụ thể hay không, vì các tiêu chí này không liên quan đến niềm tin thực tế trước đó ... Tuy nhiên, các linh mục liên hợp là phổ biến, vì chúng thường linh hoạt và thuận tiện để sử dụng vì những lý do đã nêu ở trên .

Đối với trường hợp đặc biệt của phân phối đa cực, hãy là vectơ của các tham số đa cực (nghĩa là xác suất cho các loại khác nhau). Nếu trước khi thu thập dữ liệu, sau đó, đưa ra các quan sát trong các danh mục khác nhau, $(p_1,\ldots,p_k)$

(p_{1}, Giáo dục, p_{k}) ~ Dirichlet (α_{1}, Giáo dục, α_{k})

$(p_1,\ldots,p_k)\sim \mbox{Dirichlet}(\alpha_1,\ldots,\alpha_k)$

(x_{1}, \dots, x_{k})

$(x_1,\ldots,x_k)$

(p_{1}, Giáo dục, p_{k}) | (x_{1}, Giáo dục, x_{k}) ~ Dirichlet (α_{1} + x_{1}, Giáo dục, α_{k} + x_{k}) .

$(p_1,\ldots,p_k)\Big|(x_1,\ldots,x_k)\sim \mbox{Dirichlet}(\alpha_1+x_1,\ldots,\alpha_k+x_k).$

Phân phối đồng đều thực sự là trường hợp đặc biệt của phân phối Dirichlet, tương ứng với trường hợp . Vì vậy, Jeffreys ít thông tin nhất trước đó , trong đó . Việc lớp Dirichlet bao gồm các linh mục "không thông tin" tự nhiên này là một lý do khác để sử dụng nó. $\alpha_1=\alpha_2=\cdots=\alpha_k=1$ $\alpha_1=\cdots=\alpha_k=1/2$

— MånsT
nguồn

Vì vậy, chúng tôi chọn phân phối Dirichlet cho những lợi ích đó.

— ColinBinWang

1

+1: Bạn có thể muốn nói rõ ràng rằng khả năng đó nhất thiết phải là Dirichlet, đó là lý do tại sao phân phối sau dễ dàng tính toán.

— Neil G

18

Ngoài ra, thay vì mâu thuẫn với câu trả lời của Måns T , tôi chỉ đơn giản chỉ ra rằng không có thứ gọi là "trước" trong mô hình Bayes! Phân phối Dirichlet là một lựa chọn thuận tiện vì (a) liên hợp, (b) tính toán và (c) kết nối với các thống kê không tham số (vì đây là phiên bản rời rạc của quy trình Dirichlet).

Tuy nhiên, (i) bất cứ điều gì trước khi bạn đặt lên các trọng số của đa quốc gia là một câu trả lời hợp pháp ở cấp độ Bayes chủ quan và (ii) trong trường hợp có thông tin trước đó, không có lý do gì đơn giản hóa nó thành phân phối Dirichlet. Cũng lưu ý rằng hỗn hợp và kết cấu của các bản phân phối Dirichlet có thể được sử dụng làm linh mục.

— Tây An
nguồn