Thuật toán EM có ước lượng nhất quán các tham số trong mô hình Gaussian Mixture không?


9

Tôi đang nghiên cứu mô hình Hỗn hợp Gaussian và tự mình nghĩ ra câu hỏi này.

Giả sử dữ liệu cơ bản được tạo từ hỗn hợp phân phối Gaussian và mỗi trong số chúng có một vectơ trung bình , trong đó và mỗi trong số chúng có cùng một đồng ma trận phương sai và giả sử này là ma trận đường chéo. Và giả sử tỷ lệ trộn là , tức là mỗi cụm có cùng trọng lượng.μ kR p 1 k K Σ Σ 1 / KKμkRp1kKΣΣ1/K

Vì vậy, trong ví dụ lý tưởng này, công việc duy nhất là ước tính các vectơ trung bình , trong đó và ma trận đồng biến .μ kR p 1 k K ΣKμkRp1kKΣ

Câu hỏi của tôi là: nếu chúng ta sử dụng thuật toán EM, liệu chúng ta có thể ước lượng nhất quán và , tức là khi cỡ mẫu , công cụ ước tính do thuật toán EM tạo ra sẽ đạt được giá trị thực của và ? Σ n μ k ΣμkΣnμkΣ

Câu trả lời:


1

Nếu thuật toán được khởi tạo với các giá trị ngẫu nhiên mỗi lần, thì không, sự hội tụ sẽ không nhất thiết phải nhất quán. Việc khởi tạo không ngẫu nhiên có lẽ sẽ tạo ra cùng một kết quả mỗi lần, nhưng tôi không tin rằng điều này sẽ cần thiết tạo ra các giá trị "chính xác" của .μk

Bên cạnh đó, bằng cách sửa tỷ lệ trộn thành và sửa thành đường chéo, thuật toán trở nên rất giống với thuật toán -means. Điều này cũng có sự hội tụ không nhất quán, tùy thuộc vào sự khởi tạo ngẫu nhiên.Σ k1/KΣk


Tôi đã thử nghiệm bằng số, ít nhất là cho 2 lớp phân phối bình thường độc lập, EM tạo ra công cụ ước lượng nhất quán của lớp trung bình. Tuy nhiên, K có nghĩa là không thể làm điều đó, tôi đã chứng minh điều đó một cách toán học
KevinKim

1
Bạn có thể cho biết thêm chi tiết xin vui lòng? Ví dụ: dữ liệu bạn đang sử dụng là gì, cách bạn khởi tạo các tham số, v.v.
luật sư

Đồng ý với @dcassy. Nó thực sự phụ thuộc vào các giá trị ban đầu bạn sẽ chọn. Ít nhất trong thực tế lựa chọn sai các giá trị ban đầu dẫn đến ước tính không có ý thức (tôi sử dụng gói mixtools R)
German Demidov
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.