Thuật toán EM thực hiện thủ công

Tôi muốn thực hiện thuật toán EM bằng tay và sau đó so sánh nó với kết quả normalmixEMcủa mixtoolsgói. Tất nhiên, tôi sẽ rất vui nếu cả hai đều dẫn đến cùng một kết quả. Tài liệu tham khảo chính là Geoffrey McLachlan (2000), Mô hình hỗn hợp hữu hạn .

Tôi có mật độ hỗn hợp của hai Gaussian, ở dạng tổng quát, khả năng đăng nhập được đưa ra bởi (McLachlan trang 48):

$$\log L_c(\Psi) = \sum_{i=1}^g \sum_{j=1}^n z_{ij}\{\log \pi_i + \log f_i(y_i;\theta_i)\}.$$ Các là , nếu quan sát là từ i ^thứ mật độ thành phần, nếu không 0 . Các f_i là mật độ của phân phối chuẩn. Các \ pi là tỷ lệ hỗn hợp, vì vậy \ pi_1 là xác suất, mà một quan sát là từ sự phân bố Gaussian đầu tiên và \ pi_2 là xác suất, mà một quan sát là từ sự phân bố Gaussian thứ hai.$z_{ij}$$1$$i$$0$$f_i$$\pi$$\pi_1$$\pi_2$

Bước E bây giờ, tính toán kỳ vọng có điều kiện:

$$Q(\Psi;\Psi^{(0)}) = E_{\Psi(0)}\{\log L_c(|\Psi)|y\}.$$ dẫn đến, sau một vài dẫn xuất cho kết quả (trang 49):

$$\begin{align} \tau_i(y_j;\Psi^{(k)}) &= \frac{\pi_i^{(k)}f_i(y_j;\theta_i^{(k)}}{f(y_j;\Psi^{(k)}} \\[8pt] &= \frac{\pi_i^{(k)}f_i(y_j;\theta_i^{(k)}}{\sum_{h=1}^g \pi_h^{(k)}f_h(y_j;\theta_h^{(k)})} \end{align}$$ trong trường hợp hai Gaussian (trang 82):

$$\tau_i(y_j;\Psi) = \frac{\pi_i \phi(y_j;\mu_i,\Sigma_i)}{\sum_{h=1}^g \pi_h\phi(y_j; \mu_h,\Sigma_h)}$$ Bước M bây giờ là tối đa hóa Q (trang 49):

$$Q(\Psi;\Psi^{(k)}) = \sum_{i=1}^g\sum_{j=1}^n\tau_i(y_j;\Psi^{(k)})\{\log \pi_i + \log f_i(y_j;\theta_i)\}.$$ Điều này dẫn đến (trong trường hợp có hai Gaussian) (trang 82):

$$\begin{align} \mu_i^{(k+1)} &= \frac{\sum_{j=1}^n \tau_{ij}^{(k)}y_j}{\sum_{j=1}^n \tau_{ij}^{(k)}} \\[8pt] \Sigma_i^{(k+1)} &= \frac{\sum_{j=1}^n \tau_{ij}^{(k)}(y_j - \mu_i^{(k+1)})(y_j - \mu_i^{(k+1)})^T}{\sum_{j=1}^n \tau_{ij}^{(k)}} \end{align}$$ và chúng tôi biết rằng (trang 50)

$$\pi_i^{(k+1)} = \frac{\sum_{j=1}^n \tau_i(y_j;\Psi^{(k)})}{n}\qquad (i = 1, \ldots, g).$$ Chúng tôi lặp lại các bước E, M cho đến khi nhỏ. $L(\Psi^{(k+1)})-L(\Psi^{(k)})$

Tôi đã cố gắng viết một mã R (dữ liệu có thể được tìm thấy ở đây ).

# EM algorithm manually
# dat is the data

# initial values
pi1       <-  0.5
pi2       <-  0.5
mu1       <- -0.01
mu2       <-  0.01
sigma1    <-  0.01
sigma2    <-  0.02
loglik[1] <-  0
loglik[2] <- sum(pi1*(log(pi1) + log(dnorm(dat,mu1,sigma1)))) + 
             sum(pi2*(log(pi2) + log(dnorm(dat,mu2,sigma2))))

tau1 <- 0
tau2 <- 0
k    <- 1

# loop
while(abs(loglik[k+1]-loglik[k]) >= 0.00001) {

  # E step
  tau1 <- pi1*dnorm(dat,mean=mu1,sd=sigma1)/(pi1*dnorm(x,mean=mu1,sd=sigma1) + 
          pi2*dnorm(dat,mean=mu2,sd=sigma2))
  tau2 <- pi2*dnorm(dat,mean=mu2,sd=sigma2)/(pi1*dnorm(x,mean=mu1,sd=sigma1) + 
          pi2*dnorm(dat,mean=mu2,sd=sigma2))

  # M step
  pi1 <- sum(tau1)/length(dat)
  pi2 <- sum(tau2)/length(dat)

  mu1 <- sum(tau1*x)/sum(tau1)
  mu2 <- sum(tau2*x)/sum(tau2)

  sigma1 <- sum(tau1*(x-mu1)^2)/sum(tau1)
  sigma2 <- sum(tau2*(x-mu2)^2)/sum(tau2)

  loglik[k] <- sum(tau1*(log(pi1) + log(dnorm(x,mu1,sigma1)))) + 
               sum(tau2*(log(pi2) + log(dnorm(x,mu2,sigma2))))
  k         <- k+1
}


# compare
library(mixtools)
gm <- normalmixEM(x, k=2, lambda=c(0.5,0.5), mu=c(-0.01,0.01), sigma=c(0.01,0.02))
gm$lambda
gm$mu
gm$sigma

gm$loglik

Thuật toán không hoạt động, vì một số quan sát có khả năng bằng 0 và nhật ký của điều này là -Inf. Lỗi của tôi ở đâu?

Bạn có một số vấn đề trong mã nguồn:

1. Như @Pat đã chỉ ra, bạn không nên sử dụng log (dnorm ()) vì giá trị này có thể dễ dàng đi đến vô cùng. Bạn nên sử dụng logmvdnorm

2. Khi bạn sử dụng tổng , hãy lưu ý để xóa các giá trị vô hạn hoặc bị thiếu

3. Bạn lặp biến k là sai, bạn nên cập nhật loglik [k + 1] nhưng bạn cập nhật loglik [k]

4. Các giá trị ban đầu cho phương thức và mixtools của bạn là khác nhau. Bạn đang sử dụng trong phương thức của mình, nhưng sử dụng cho mixtools (nghĩa là độ lệch chuẩn, từ hướng dẫn sử dụng mixtools).$\Sigma$$\sigma$

5. Dữ liệu của bạn trông không giống như một hỗn hợp thông thường (kiểm tra biểu đồ tôi đã vẽ ở cuối). Và một thành phần của hỗn hợp có sd rất nhỏ, vì vậy tôi đã tùy ý thêm một dòng để đặt và bằng với một số mẫu cực đoan. Tôi thêm chúng chỉ để đảm bảo mã có thể hoạt động.$\tau_1$$\tau_2$

Tôi cũng đề nghị bạn đặt mã hoàn chỉnh (ví dụ: cách bạn khởi tạo loglik []) trong mã nguồn của mình và thụt mã để dễ đọc.

Sau tất cả, cảm ơn vì đã giới thiệu gói mixtools và tôi dự định sử dụng chúng trong nghiên cứu tương lai của mình.

Tôi cũng đặt mã làm việc của mình để bạn tham khảo:

# EM algorithm manually
# dat is the data
setwd("~/Downloads/")
load("datem.Rdata")
x <- dat

# initial values
pi1<-0.5
pi2<-0.5
mu1<--0.01
mu2<-0.01
sigma1<-sqrt(0.01)
sigma2<-sqrt(0.02)
loglik<- rep(NA, 1000)
loglik[1]<-0
loglik[2]<-mysum(pi1*(log(pi1)+log(dnorm(dat,mu1,sigma1))))+mysum(pi2*(log(pi2)+log(dnorm(dat,mu2,sigma2))))

mysum <- function(x) {
  sum(x[is.finite(x)])
}
logdnorm <- function(x, mu, sigma) {
  mysum(sapply(x, function(x) {logdmvnorm(x, mu, sigma)}))  
}
tau1<-0
tau2<-0
#k<-1
k<-2

# loop
while(abs(loglik[k]-loglik[k-1]) >= 0.00001) {
  # E step
  tau1<-pi1*dnorm(dat,mean=mu1,sd=sigma1)/(pi1*dnorm(x,mean=mu1,sd=sigma1)+pi2*dnorm(dat,mean=mu2,sd=sigma2))
  tau2<-pi2*dnorm(dat,mean=mu2,sd=sigma2)/(pi1*dnorm(x,mean=mu1,sd=sigma1)+pi2*dnorm(dat,mean=mu2,sd=sigma2))
  tau1[is.na(tau1)] <- 0.5
  tau2[is.na(tau2)] <- 0.5

  # M step
  pi1<-mysum(tau1)/length(dat)
  pi2<-mysum(tau2)/length(dat)

  mu1<-mysum(tau1*x)/mysum(tau1)
  mu2<-mysum(tau2*x)/mysum(tau2)

  sigma1<-mysum(tau1*(x-mu1)^2)/mysum(tau1)
  sigma2<-mysum(tau2*(x-mu2)^2)/mysum(tau2)

  #  loglik[k]<-sum(tau1*(log(pi1)+log(dnorm(x,mu1,sigma1))))+sum(tau2*(log(pi2)+log(dnorm(x,mu2,sigma2))))
  loglik[k+1]<-mysum(tau1*(log(pi1)+logdnorm(x,mu1,sigma1)))+mysum(tau2*(log(pi2)+logdnorm(x,mu2,sigma2)))
  k<-k+1
}

# compare
library(mixtools)
gm<-normalmixEM(x,k=2,lambda=c(0.5,0.5),mu=c(-0.01,0.01),sigma=c(0.01,0.02))
gm$lambda
	gm$mu
gm$sigma

gm$loglik

Lịch sử

Tôi liên tục gặp lỗi khi cố mở tệp .rar của bạn, nhưng đó có thể chỉ là tôi làm điều gì đó ngớ ngẩn.

$f(y;\theta)$$\exp(-0.5(y-\mu)^2/\sigma^2)$$\mu$$y$$\tau$

Nếu đó là vấn đề, có một số giải pháp có thể:

$\tau$

$\tau \log(f(y|\theta))$

đánh giá

$\log \left( f(y|\theta)^\tau \right)$

$f(y|\theta)$$\tau$$\approx 0$

• $0 \log (0) = 0 (-Inf) = NaN$

nhưng với tau di chuyển bạn nhận được

• $\log \left( 0^0\right) = \log(1) = 0$

$0^0 = 1$

Một giải pháp khác là mở rộng ra những thứ bên trong logarit. Giả sử bạn đang sử dụng logarit tự nhiên:

$\tau \log(f(y|\theta))$

$= \tau \log(\exp(-0.5(y-\mu)^2/\sigma^2)/\sqrt{2\pi\sigma^2})$

$= -0.5\tau \log(2 \pi\sigma^2) - 0.5 \tau \frac{(y-\mu)^2}{\sigma^2}$

Về mặt toán học là như nhau, nhưng sẽ linh hoạt hơn đối với các lỗi dấu phẩy động vì bạn đã tránh tính toán một công suất âm lớn. Điều này có nghĩa là bạn không thể sử dụng chức năng đánh giá định mức tích hợp nữa, nhưng nếu đó không phải là vấn đề thì đây có lẽ là câu trả lời tốt hơn. Ví dụ: giả sử chúng ta có tình huống

$-0.5\frac{(y-\mu)^2}{\sigma^2} = -0.5*40^2 = -800$

$\log(\exp(-800)) = \log(0) = -Inf$