Làm thế nào để tính toán sự lúng túng của việc nắm giữ với Phân bổ Dirichlet tiềm ẩn?

Tôi bối rối về cách tính toán sự lúng túng của một mẫu nắm giữ khi thực hiện Phân bổ Dirichlet tiềm ẩn (LDA). Các bài viết về chủ đề này khoe về nó, khiến tôi nghĩ rằng tôi đang thiếu một cái gì đó rõ ràng ...

Perplexity được xem là thước đo hiệu suất tốt cho LDA. Ý tưởng là bạn giữ một mẫu giữ, huấn luyện LDA của bạn trên phần còn lại của dữ liệu, sau đó tính toán mức độ khó hiểu của khoản giữ.

Sự bối rối có thể được đưa ra theo công thức:

$per(D_{test})=exp\{-\frac{\sum_{d=1}^{M}\log p(\mathbb{w}_d)}{\sum_{d=1}^{M}N_d}\}$

(Lấy từ truy xuất hình ảnh trên cơ sở dữ liệu hình ảnh quy mô lớn, Horster và cộng sự )

Ở đây là số lượng tài liệu (trong mẫu thử nghiệm, có lẽ), đại diện cho các từ trong tài liệu , số lượng từ trong tài liệu .w d d N d$M$$\mathbb{w}_d$$d$$N_d$$d$

Tôi không rõ làm thế nào để làm sáng tỏ một cách hợp lý , vì chúng tôi không có hỗn hợp chủ đề cho các tài liệu được tổ chức. Lý tưởng nhất, chúng tôi sẽ tích hợp trên Dirichlet trước cho tất cả các hỗn hợp chủ đề có thể và sử dụng đa thức chủ đề mà chúng tôi đã học. Tính tích phân này dường như không phải là một nhiệm vụ dễ dàng.$p(\mathbb{w}_d)$

Ngoài ra, chúng tôi có thể cố gắng tìm hiểu một hỗn hợp chủ đề tối ưu cho mỗi tài liệu được tổ chức (đưa ra các chủ đề đã học) và sử dụng điều này để tính toán sự bối rối. Điều này có thể thực hiện được, tuy nhiên nó không tầm thường như các bài báo như Horter et al và Blei et al dường như đề xuất, và tôi không rõ ràng ngay lập tức rằng kết quả sẽ tương đương với trường hợp lý tưởng ở trên.

Đây thực sự là một cái gì đó thường được che đậy.

Một số người đang làm điều gì đó hơi táo tợn: đưa ra một tỷ lệ các từ trong mỗi tài liệu và đưa ra cách sử dụng xác suất dự đoán của những từ được đưa ra này cho các hỗn hợp chủ đề tài liệu cũng như các hỗn hợp từ chủ đề. Điều này rõ ràng là không lý tưởng vì nó không đánh giá hiệu suất trên bất kỳ tài liệu lưu trữ nào.

Để làm điều đó đúng với các tài liệu được tổ chức, như đã đề xuất, bạn cần phải "tích hợp trên Dirichlet trước cho tất cả các hỗn hợp chủ đề có thể". http://people.cs.umass.edu/~wallach/talks/ev Assessment.pdf xem xét một số phương pháp để giải quyết tích phân hơi khó chịu này. Thực tế, tôi chỉ đang cố gắng tự mình thực hiện điều này, thật may mắn!

Chúng tôi biết rằng các tham số của LDA được ước tính thông qua suy luận biến đổi. Vì thế

$\log p(w|\alpha, \beta) = E[\log p(\theta,z,w|\alpha,\beta)]-E[\log q(\theta,z)] + D(q(\theta,z)||p(\theta,z))$ .

Nếu phân phối đa dạng của bạn đủ bằng phân phối ban đầu, thì . Vì vậy, , mà là khả năng.log p ( w | α , β ) = E [ log p ( θ , z , w | α , β ) ] - E [ log q $D(q(\theta,z)||p(\theta,z)) = 0$$\log p(w|\alpha, \beta) = E[\log p(\theta,z,w|\alpha,\beta)]-E[\log q(\theta,z)]$

$\log p(w|\alpha, \beta)$ gần đúng với khả năng bạn nhận được từ Suy luận Biến đổi.