Mô hình Multinomial-Dirichlet với phân bố siêu nhân trên các tham số nồng độ

Tôi sẽ cố gắng mô tả vấn đề trong tay càng chung càng tốt. Tôi đang mô hình hóa các quan sát như là một phân phối phân loại với một vectơ xác suất tham số theta.

Sau đó, tôi giả sử vectơ tham số theta tuân theo phân phối trước Dirichlet với các tham số .$\alpha_1,\alpha_2,\ldots,\alpha_k$

Có phải sau đó cũng có thể áp đặt phân phối siêu nhân lên các tham số ? Nó sẽ phải là một phân phối đa biến như phân phối phân loại và dirichlet? Dường như với tôi các alpha luôn tích cực vì vậy một siêu nhân gamma nên hoạt động.$\alpha_1,\alpha_2,\ldots,\alpha_k$

Không chắc ai đã thử lắp các mô hình quá khổ như vậy (có thể) nhưng có vẻ hợp lý với tôi khi nghĩ rằng không nên sửa lỗi alpha mà đến từ phân phối gamma.

Hãy cố gắng cung cấp cho tôi một số tài liệu tham khảo, hiểu biết về cách tôi có thể thử cách tiếp cận như vậy trong thực tế.

Tôi không nghĩ rằng đây là một mô hình "quá mức". Tôi sẽ lập luận rằng bằng cách đặt ưu tiên cho các thông số Dirichlet, bạn sẽ ít cam kết hơn về bất kỳ kết quả cụ thể nào. Cụ thể, như bạn có thể biết, đối với các phân phối đối xứng (ví dụ ), cài đặt cung cấp nhiều xác suất trước cho các phân phối đa phương thưa thớt, trong khi cung cấp xác suất trước nhiều hơn cho phân phối đa cực mịn.$\alpha_1 = \alpha_2 = ... \alpha_K$$\alpha<1$$\alpha>1$

Trong trường hợp người ta không có kỳ vọng mạnh mẽ đối với các phân phối đa phương thức thưa thớt hoặc dày đặc, việc đặt một siêu nhân trên phân phối Dirichlet của bạn sẽ giúp mô hình của bạn thêm linh hoạt để lựa chọn giữa chúng.

Ban đầu tôi có ý tưởng làm việc này từ bài báo này . Siêu nhân họ sử dụng hơi khác so với những gì bạn đề xuất. Họ lấy mẫu một vectơ xác suất từ ​​một dirichlet và sau đó nhân rộng nó bằng cách rút ra từ một hàm mũ (hoặc gamma). Vì vậy, mô hình là

Dirichlet thêm chỉ đơn giản là để tránh đối xứng áp đặt.

Tôi cũng đã thấy mọi người chỉ sử dụng siêu Gamma trước cho Dirichlet trong bối cảnh các mô hình markov ẩn với các phân phối phát xạ đa cực, nhưng dường như tôi không thể tìm thấy tài liệu tham khảo. Ngoài ra, có vẻ như tôi đã gặp các hypers tương tự được sử dụng trong các mô hình chủ đề.

Để giải thích một giải pháp cho vấn đề siêu chiến binh này, tôi đã triển khai một mô hình gamma-Dirichlet-multinomial phân cấp trong PyMC3. Gamma trước cho Dirichlet được chỉ định và lấy mẫu theo bài đăng trên blog của Ted Dunning .

Mô hình tôi triển khai có thể được tìm thấy tại Gist này nhưng cũng được mô tả bên dưới:

Đây là mô hình phân cấp (gộp) của Bayes cho xếp hạng phim. Mỗi bộ phim có thể được đánh giá theo thang điểm từ 0 đến 5. Mỗi bộ phim được đánh giá nhiều lần. Chúng tôi muốn tìm một bản phân phối xếp hạng mượt mà cho mỗi bộ phim.

Chúng tôi sẽ tìm hiểu một phân phối trước cấp cao nhất (siêu nhân) về xếp hạng phim từ dữ liệu. Mỗi bộ phim sau đó sẽ có ưu tiên riêng được làm mịn bởi cấp cao nhất này trước. Một cách nghĩ khác về điều này là việc ưu tiên xếp hạng cho mỗi bộ phim sẽ bị thu hẹp về phía phân phối theo cấp độ nhóm hoặc gộp lại.

Nếu một bộ phim có phân phối xếp hạng không điển hình, phương pháp này sẽ thu hẹp xếp hạng thành thứ gì đó phù hợp hơn với những gì được mong đợi. Hơn nữa, điều này đã học trước có thể hữu ích đối với các phim bootstrap có ít xếp hạng để cho phép chúng được so sánh một cách có ý nghĩa với các phim có nhiều xếp hạng.

Mô hình như sau:

$\gamma_{k=1...K} \sim Gamma(\alpha, \beta)$

$\theta_{m=1...M} \sim Dirichlet_M(c\gamma_1, ..., c\gamma_K)$

$z_{m=1...M,n=1...N_m} \sim Categorical_M(\theta_m)$

Ở đâu:

• $K$ số mức xếp hạng phim (ví dụ: ngụ ý xếp hạng 0, ..., 5)$K = 6$
• $M$ số phim được đánh giá
• $N_m$ số xếp hạng cho phim$m$
• $\alpha = 1 / K$ để làm cho bộ sưu tập gamma rvs hoạt động như một hệ số mũ
• $\beta$ Tham số tỷ lệ cho cấp cao nhất theo cấp số nhân trước
• $c$ tham số nồng độ cho thấy sức mạnh của cấp cao nhất trước
• $\gamma_k$ cấp cao nhất trước cấp độ xếp hạng$k$
• $\theta_m$ phim trước cho các mức xếp hạng (đa biến với thứ nguyên = )$K$
• $z_{mn}$ rating cho phim$n$$m$

Đây là mô hình liên hợp Bayes trực tiếp trước. Một phần mở rộng tự nhiên từ mô hình Beta-Binomial. Một nguồn tốt cho việc này có thể là từ cuốn sách . Và Posterior cũng là Dirichlet và do đó mô phỏng từ dirichlet sẽ đưa ra những tóm tắt cần thiết