Tại sao thuật toán tối đa hóa kỳ vọng được sử dụng?

Từ những gì tôi biết, thuật toán EM có thể được sử dụng để tìm khả năng tối đa khi đặt thành 0 các đạo hàm riêng đối với các tham số của khả năng đưa ra một bộ phương trình không thể giải quyết bằng phương pháp phân tích. Nhưng là thuật toán EM cần thiết thay vì sử dụng một số kỹ thuật số để cố gắng tìm tối đa khả năng liên quan đến các ràng buộc của bộ phương trình được đề cập.

Câu hỏi là hợp pháp và tôi đã có sự nhầm lẫn tương tự khi lần đầu tiên học thuật toán EM.

Nói chung, thuật toán EM định nghĩa một quy trình lặp cho phép tối đa hóa hàm khả năng của một mô hình tham số trong trường hợp một số biến của mô hình là (hoặc được coi là) "tiềm ẩn" hoặc không xác định.

Về lý thuyết, với cùng một mục đích, bạn có thể sử dụng thuật toán thu nhỏ để tìm số lượng tối đa của hàm khả năng cho tất cả các tham số. Tuy nhiên, trong tình huống thực tế, việc giảm thiểu này sẽ là:

1. chuyên sâu hơn nhiều về mặt tính toán
2. kém mạnh mẽ

Một ứng dụng rất phổ biến của phương pháp EM là lắp mô hình hỗn hợp. Trong trường hợp này, xem xét biến chỉ định từng mẫu cho một trong các thành phần là biến "tiềm ẩn", vấn đề được đơn giản hóa rất nhiều.

Hãy nhìn vào một ví dụ. Chúng tôi có N mẫu được trích xuất từ ​​hỗn hợp 2 phân phối bình thường. Để tìm các tham số không có EM, chúng ta nên giảm thiểu:$s = \{s_i\}$

$$-\log \mathcal{L}(x,\theta) = -\log\Big[ a_1 \exp\Big( \frac{(x-\mu_1)^2}{2\sigma_1^2}\Big) + a_2 \exp\Big(\frac{(x-\mu_2)^2}{2\sigma_2^2}\Big) \Big]$$

Ngược lại, bằng cách sử dụng thuật toán EM, trước tiên chúng tôi "gán" từng mẫu cho một thành phần ( bước E ) và sau đó phù hợp (hoặc tối đa hóa khả năng ) của từng thành phần riêng biệt ( bước M ). Trong ví dụ này, M-bước đơn giản là một trung bình trọng để tìm và σ k . Iterating qua hai bước là một cách đơn giản và mạnh mẽ hơn để giảm thiểu - log L ( x , θ ) .$\mu_k$$\sigma_k$$-\log \mathcal{L}(x,\theta)$

EM không cần thiết thay vì sử dụng một số kỹ thuật số vì EM cũng là một phương pháp số. Vì vậy, nó không phải là một thay thế cho Newton-Raphson. EM dành cho trường hợp cụ thể khi bạn thiếu các giá trị trong ma trận dữ liệu của mình. Hãy xem xét một mẫu trong đó có mật độ có điều kiện f X | Θ ( x | θ ) . Sau đó, loga của việc này là l ( θ ; X ) = l o g f X | $X = (X_{1},...,X_{n})$$f_{X|\Theta}(x|\theta)$ Bây giờ giả sử rằng bạn không có bộ dữ liệu hoàn chỉnh sao cho X được tạo thành từ dữ liệu quan sát Y và các biến Z (hoặc tiềm ẩn) bị thiếu, sao cho X = ( Y , Z ) . Sau đó, loga cho các dữ liệu quan sát được là l o b s ( θ , Y ) = l o g ∫ f X | Θ ( Y , z | q ) ν z

$$l(\theta;X) = log f_{X|\Theta}(X|\theta)$$ $X$$Y$$Z$$X=(Y,Z)$ Nói chung bạn không thể tính toán không thể thiếu này trực tiếp và bạn sẽ không có được một giải pháp đóng hình thức cho l o b s ( θ , Y ) . Đối với mục đích này, bạn sử dụng phương pháp EM. Có hai bước được lặp lại cho tôi lần. Trong này ( i + 1 ) t h bước đó là những bước mong đợi mà bạn tính toán Q ( θ | θ ( i ) ) = E θ ( i ) [ l ( $$l_{obs}(\theta,Y)=log \int f_{X|\Theta}(Y,z|\theta)\nu_{z}(dz)$$ $l_{obs}(\theta,Y)$$i$$(i + 1)^{th}$ trong đó θ ( i ) là ước tính của Θ trong bước i t h . Sau đó tính toán bước tối đa hóa trong đó bạn phát huy tối đa Q ( θ | θ ( i ) ) liên quan đến q và bộ θ ( i + 1 ) = m một x Q ( θ | θ i $$Q(\theta|\theta^{(i)}) = E_{\theta^{(i)}}[l(\theta;X|Y]$$ $\theta^{(i)}$$\Theta$$i^{th}$$Q(\theta|\theta^{(i)})$$\theta$$\theta^{(i+1)} = max Q(\theta|\theta^{i})$. Sau đó, bạn lặp lại các bước này cho đến khi phương thức hội tụ đến một giá trị nào đó sẽ là ước tính của bạn.

Nếu bạn cần thêm thông tin về phương pháp, các thuộc tính, bằng chứng hoặc ứng dụng của nó chỉ cần xem qua bài viết Wiki tương ứng .

EM được sử dụng vì thường không khả thi hoặc không thể tính trực tiếp các tham số của mô hình nhằm tối đa hóa xác suất của tập dữ liệu được đưa ra cho mô hình đó.