Có phải MLE luôn có nghĩa là chúng ta biết PDF cơ bản của dữ liệu của mình và EM có nghĩa là chúng ta không?

Tôi có một số câu hỏi khái niệm đơn giản mà tôi muốn làm rõ về MLE (Ước tính khả năng tối đa), và nó có liên kết gì, nếu có, với EM (Tối đa hóa kỳ vọng).

Theo tôi hiểu, nếu ai đó nói "Chúng tôi đã sử dụng MLE", điều đó có tự động có nghĩa là họ có một mô hình rõ ràng về dữ liệu PDF của họ không? Dường như với tôi rằng câu trả lời cho điều này là có. Nói cách khác, nếu bất cứ lúc nào ai đó nói "MLE", thật công bằng khi hỏi họ rằng họ đang giả sử PDF gì. Điều này sẽ đúng?

Cuối cùng, trên EM, sự hiểu biết của tôi là trong EM, chúng tôi thực sự không biết - hoặc cần phải biết, tệp PDF cơ bản của dữ liệu của chúng tôi. Đây là sự hiểu biết của tôi.

Cảm ơn bạn.

Phương pháp MLE có thể được áp dụng trong trường hợp ai đó biết dạng chức năng cơ bản của pdf (ví dụ: Gaussian, hoặc log-normal, hoặc lũy thừa, hoặc bất cứ điều gì), nhưng không phải là các tham số cơ bản; ví dụ, họ không biết giá trị của và σ trong pdf: f ( x | μ , σ ) = $\mu$$\sigma$ hoặc bất kỳ loại pdf nào khác mà họ đang giả định. Công việc của phương pháp MLE là chọn các giá trị tốt nhất (nghĩa là hợp lý nhất) cho các tham số chưa biết, được đưa ra các phép đo dữ liệu cụ thểx1,x2,x3,. . . mà thực sự đã được quan sát. Vì vậy, để trả lời câu hỏi đầu tiên của bạn, vâng, bạn luôn có quyền hỏi ai đó theomẫu nào

$$f(x|\mu, \sigma) = \frac{1}{\sqrt{2\pi\sigma^{2}}} \exp\left[\frac{-(x-\mu)^{2}}{2 \sigma^{2}}\right]$$ $x_{1}, x_{2}, x_{3}, ...$ pdf mà họ đang giả định để ước tính khả năng tối đa của họ; thực vậy, các giá trị tham số ước tính mà chúng cho bạn biết thậm chí không có ý nghĩa trừ khi chúng lần đầu tiên giao tiếp bối cảnh đó.

Thuật toán EM, như tôi đã thấy nó được áp dụng trong quá khứ, là một loại thuật toán meta, trong đó một số siêu dữ liệu bị thiếu và bạn cũng phải ước tính điều đó. Vì vậy, ví dụ, có lẽ tôi có một pdf mà là một hỗn hợp của nhiều Gaussian, ví dụ: Bề ngoài, ngoại trừ việc thêm tham số biên độAk, điều này trông rất giống với vấn đề trước đó, nhưng nếu tôi nói với bạn rằng chúng ta thậm chí không biết giá trị củaN(tức là số của các chế độ trong hỗn hợp Gaussian) và chúng tôi muốn ước tính rằng từ các phép đo dữ liệux1,x2,x3,. .

$$f(x|A_{1},...,A_{N},\mu_{1},...,\mu_{N}, \sigma_{1},...\sigma_{N}) = \sum_{k=1}^{N} \frac{A_{k}}{\sqrt{2\pi\sigma_{k}^{2}}} \exp\left[\frac{-(x-\mu_{k})^{2}}{2 \sigma_{k}^{2}}\right]$$ $A_{k}$$N$$x_{1}, x_{2}, x_{3}, ...$quá?

Trong trường hợp này, bạn có một vấn đề, bởi vì mỗi giá trị có thể có của (đây là phần "meta" mà tôi đã ám chỉ ở trên) thực sự tạo ra một mô hình khác nhau, theo một nghĩa nào đó. Nếu N = 1 , sau đó bạn có một mô hình với ba thông số ( A 1 , μ 1 , σ 1 ) trong khi nếu N = 2 , sau đó bạn có một mô hình với sáu thông số ( A 1 , A 2 , L 1 , μ 2 , σ 1 , σ 2 ). Các giá trị phù hợp nhất mà bạn có được ($N$$N=1$$A_{1}$$\mu_{1}$$\sigma_{1}$$N=2$$A_{1}$$A_{2}$$\mu_{1}$$\mu_{2}$$\sigma_{1}$$\sigma_{2}$ , μ 1 , σ 1 ) trong N = 1 mô hình có thể không trực tiếp được so sánh với các giá trị phù hợp nhất mà bạn có được đối với những thông số tương tự trong N = 2 mô hình, bởi vì họ là những mô hình khác nhau với một số khác nhaubậc tự do$A_{1}$$\mu_{1}$$\sigma_{1}$$N=1$$N=2$ .

Vai trò của thuật toán EM là cung cấp một cơ chế để thực hiện các loại so sánh đó (thường bằng cách áp dụng "hình phạt phức tạp" ưu tiên các giá trị nhỏ hơn của ) để chúng ta có thể chọn giá trị tổng thể tốt nhất cho $N$$N$ .

Vì vậy, để trả lời câu hỏi ban đầu của bạn, thuật toán EM yêu cầu một đặc điểm kỹ thuật ít chính xác hơn về hình thức của pdf; người ta có thể nói rằng nó xem xét một loạt các tùy chọn thay thế (ví dụ: tùy chọn trong đó , N = 2 , $N=1$$N=2$$N=3$

MLE đòi hỏi kiến ​​thức về ít nhất là các phân phối biên. Khi sử dụng MLE, chúng tôi thường ước tính các tham số của phân phối chung bằng cách đưa ra giả định iid, sau đó bao gồm phân phối chung như một sản phẩm của các lề mà chúng ta biết. Có nhiều biến thể, nhưng đây là ý tưởng trong hầu hết các trường hợp. Vì vậy, MLE là một phương pháp tham số.

Thuật toán EM là một phương pháp để tối đa hóa các hàm khả năng xuất hiện như một phần của thuật toán MLE. Nó thường (thường là?) Được sử dụng cho các giải pháp số.

Bất cứ khi nào chúng tôi sử dụng MLE, chúng tôi cần ít nhất các phân phối biên và một số giả định về cách liên kết với các lề (độc lập, v.v.). Do đó cả hai phương pháp đều dựa vào kiến ​​thức phân phối.