Thay thế nhanh cho thuật toán EM

13

Có bất kỳ sự thay thế nhanh chóng nào cho thuật toán EM cho các mô hình học tập với các biến tiềm ẩn (đặc biệt là pLSA) không? Tôi ổn với việc hy sinh độ chính xác có lợi cho tốc độ.

— Aslan986
nguồn

1

Bạn đã làm một cuộc khảo sát văn học? Bài viết này có vẻ đặc biệt có liên quan: Thư giãn lồi về đào tạo biến đổi tiềm ẩn

— Emre

1

LSA thì sao? :-)

— liên hợp chiến

1

Một cách chung để tăng tốc EM được gọi là "Máy gia tốc Aitken". Nếu độ chính xác không phải là một vấn đề, có thể thử ước tính thời điểm hoặc ước tính thời điểm tổng quát thay thế.

— JohnRos

4

Các thuật toán Newton-Raphson thường có thể được sử dụng. Tôi không quen thuộc với pSLA, nhưng nó khá phổ biến để sử dụng thuật toán Newton-Raphson cho các mô hình lớp tiềm ẩn. Các thuật toán Newton-Raphson gặp một chút rắc rối bởi các giá trị ban đầu kém hơn EM, do đó, một chiến lược trước tiên là sử dụng một vài lần lặp (giả sử 20) của EM và sau đó chuyển sang thuật toán Newton-Raphson. Một thuật toán mà tôi đã gặt hái được nhiều thành công là: Zhu, Ciyou, Richard H. Byrd, Peihuang Lu và Jorge Nocedal (1997), "Thuật toán 778: L-BFGS-B: Các chương trình con của Fortran cho quy mô lớn- tối ưu hóa bị ràng buộc, "Lưu trữ ACM trên phần mềm toán học (TOMS), 23 (4), 550-60.

— Tim
nguồn

4

Rất giống với thuật toán EM là thuật toán MM thường khai thác độ lồi thay vì thiếu dữ liệu trong việc chính hoặc phụ hóa một hàm mục tiêu. Tuy nhiên, bạn phải kiểm tra xem thuật toán MM có áp dụng được cho vấn đề cụ thể của bạn không.

— bã nhờn
nguồn

3

Đối với LDA, "LDA trực tuyến" là sự thay thế nhanh chóng hơn so với các phương thức hàng loạt như EM tiêu chuẩn (http://www.cs.princeton.edu/~blei/ con / HoffmanBleiBach2010b.pdf).

David Blei cung cấp phần mềm trên trang của mình: http://www.cs.princeton.edu/~blei/topicmodeling.html

— người dùng1149913
nguồn

2

Một cách khác không được đề cập cho đến nay trong các câu trả lời là các phép tính gần đúng. Mặc dù các thuật toán này không chính xác là thuật toán EM trong mọi trường hợp, nhưng trong một số trường hợp, thuật toán EM đang giới hạn các trường hợp thuật toán biến đổi trường trung bình Bayesian. Giới hạn liên quan đến trường hợp giới hạn của siêu tham số, chọn các giá trị giới hạn - trong một số trường hợp - sẽ cung cấp cho bạn thuật toán EM.

Trong cả hai trường hợp (thuật toán EM, VB hoặc thậm chí MM), có 2 cách chung để tăng tốc mọi thứ:

$p$ $p$

(2) cải thiện tốc độ hội tụ của thuật toán EM (hoặc loại khác) của bạn. Trong một bình luận JohnRos đã đề cập đến khả năng tăng tốc của Aitken. Đây là từ thế giới phân tích số nhưng được thảo luận trong cuốn sách EM của McLachlan và Krishnan.

Có thể có những người khác tôi đã bỏ lỡ nhưng dường như đây là hai người lớn.

— Lucas Roberts
nguồn