Tại sao người ta nên sử dụng EM so với nói, Gradient Descent với MLE?

Về mặt toán học, người ta thường thấy rằng các biểu thức và thuật toán cho Tối đa hóa kỳ vọng (EM) thường đơn giản hơn cho các mô hình hỗn hợp, nhưng dường như mọi thứ (nếu không phải là tất cả) có thể được giải quyết bằng EM cũng có thể được giải quyết bằng MLE (bằng cách nói, phương pháp Newton-Raphson, cho các biểu thức không được đóng).

Tuy nhiên, trong văn học, có vẻ như nhiều người ủng hộ EM hơn các phương pháp khác (bao gồm giảm thiểu LL bằng cách nói, giảm dần độ dốc); Có phải vì sự đơn giản của nó trong các mô hình? Hay là vì những lý do khác?

Tôi nghĩ rằng có một số dây chéo ở đây. MLE, như được đề cập trong tài liệu thống kê, là Ước tính khả năng tối đa. Đây là một công cụ ước tính . Thuật toán EM, như tên của nó, là một thuật toán thường được sử dụng để tính toán MLE. Đây là những quả táo và cam.

Khi MLE không ở dạng đóng, thuật toán thường được sử dụng để tìm kiếm này là thuật toán Newton-Raphson, đây có thể là điều bạn đang đề cập khi bạn nêu "cũng có thể được giải quyết bằng MLE". Trong nhiều vấn đề, thuật toán này hoạt động rất tốt; đối với các vấn đề "vani", thường rất khó để đánh bại.

Tuy nhiên, có rất nhiều vấn đề khi nó thất bại, chẳng hạn như mô hình hỗn hợp. Kinh nghiệm của tôi với các vấn đề tính toán khác nhau là trong khi thuật toán EM không phải luôn luôn là lựa chọn nhanh nhất, nó thường dễ nhất vì nhiều lý do. Nhiều lần với các mô hình mới, thuật toán đầu tiên được sử dụng để tìm MLE sẽ là thuật toán EM. Sau đó, vài năm sau, các nhà nghiên cứu có thể thấy rằng một thuật toán phức tạp hơn đáng kể nhanh hơn đáng kể. Nhưng các thuật toán này không phải là trival.

Ngoài ra, tôi suy đoán rằng phần lớn sự phổ biến của thuật toán EM là hương vị thống kê của nó, giúp các nhà thống kê cảm thấy khác biệt với các nhà phân tích số.