Làm thế nào để bạn sử dụng thuật toán EM để tính toán MLE cho một công thức biến tiềm ẩn của mô hình Poisson bằng không?

Mô hình hồi quy Poisson bằng 0 được xác định cho một mẫu bởi và giả sử thêm rằng các tham số và thỏa mãn $(y_1,\ldots,y_n)$

Y_{i} = {\begin{cases} 0 & with probability p_{i} + (1 - p_{i}) e^{- λ_{i}} \\ k & with probability (1 - p_{i}) e^{- λ_{i}} λ_{i}^{k} / k! \end{cases}

$Y_i = \begin{cases} 0 & \text{with probability} \ p_i+(1-p_i)e^{-\lambda_i}\\ k & \text{with probability} \ (1-p_i)e^{-\lambda_i} \lambda_{i}^{k}/k! \end{cases}$

λ = (λ_{1}, \dots, λ_{n})

$\mathbf{\lambda} = (\lambda_1, \dots, \lambda_n)$

p = (p_{1}, \dots, p_{n})

$\textbf{p} = (p_1, \dots, p_n)$

\begin{aligned} \log (λ) & = B β \\ logit (p) & = \log (p / (1 - p)) = G γ . \end{aligned}

$\eqalign{ \log(\mathbf{\lambda}) &= \textbf{B} \beta \\ \text{logit}(\textbf{p}) &= \log(\textbf{p}/(1-\textbf{p})) = \textbf{G} \mathbf{\gamma}. }$

Khả năng ghi nhật ký tương ứng của mô hình hồi quy Poisson bằng 0 là

\begin{aligned} L (γ, β; y) & = \sum_{y_{i} = 0} \log (e^{G_{i} γ} + \exp (- e^{B_{i} β})) + \sum_{y_{i} > 0} (y_{i} B_{i} β - e^{B_{i} β}) \\ - \sum_{i = 1}^{n} \log (1 + e^{G_{i} γ}) - \sum_{y_{i} > 0} \log (y_{i}!) \end{aligned}

$\eqalign{ L(\gamma,\mathbf{\beta}; \mathbf{y}) &= \sum_{y_i=0} \log(e^{G_i \gamma}+\exp(-e^{\textbf{B}_i \mathbf{\beta}})) +\sum_{y_i >0} (y_i \textbf{B}_i \mathbf{\beta}-e^{\textbf{B}_i \mathbf{\beta}})\\ &\quad -\sum_{i=1}^{n} \log(1+e^{G_{i} \gamma})-\sum_{y_i >0} \log(y_{i}!)}$

Ở đây, và là các ma trận thiết kế. Các ma trận này có thể giống nhau, tùy thuộc vào các tính năng mà một người mong muốn sử dụng cho hai quy trình tạo. Họ có cùng số lượng hàng, tuy nhiên. $\mathrm{B}$ $\mathrm{G}$

Giả sử rằng chúng ta có thể quan sát khi ở trạng thái hoàn hảo, không và khi từ trạng thái Poisson, khả năng đăng nhập sẽ là $Z_i = 1$ $Y_i$ $Z_i = 0$ $Y_i$

L (γ, β; y, z) = \sum_{i = 1}^{n} \log (f (z_{i} | γ)) + \sum_{i = 1}^{n} \log (f (y_{i} | z_{i}, β))

$L(\gamma,\mathbf{\beta}; \mathbf{y}, \mathbf{z}) = \sum_{i=1}^{n} \log(f(z_i|\mathbf{\gamma}))+\sum_{i=1}^{n} \log(f(y_i|z_i, \mathbf{\beta}))$

= \sum_{i = 1}^{n} z_{i} (G_{i} γ - \log (1 + e^{G_{i} γ})) + - \sum_{i = 1}^{n} (1 - z_{i}) \log (1 + e^{G_{i} γ}) + \sum_{i = 1}^{n} (1 - z_{i}) [y_{i} B_{i} β - e^{B_{i} β} - \log (y_{i}!)]

$= \sum_{i=1}^{n} z_{i} (\textbf{G}_i \gamma-\log(1+e^{G_{i} \gamma}))+ -\sum_{i=1}^{n} (1-z_{i})\log(1+e^{G_{i} \gamma})+ \sum_{i=1}^{n} (1-z_i)[y_{i} \textbf{B}_i \beta-e^{\textbf{B}_i \beta} - \log(y_{i}!)]$ Hai thuật ngữ đầu tiên là mất trong hồi quy logistic để tách từ . Thuật ngữ thứ hai là một hồi quy cho các điểm được tạo ra bởi quá trình Poisson.

z_{i} = 0

$z_i=0$

z_{i} = 1

$z_i=1$

Nhưng các biến tiềm ẩn không quan sát được? Mục đích là để tối đa hóa khả năng đăng nhập đầu tiên. Nhưng chúng tôi phải giới thiệu các biến tiềm ẩn và rút ra một khả năng đăng nhập mới. Sau đó, sử dụng thuật toán EM, chúng ta có thể tối đa hóa khả năng đăng nhập thứ hai. Nhưng điều này giả định rằng chúng ta biết rằng hoặc ? $Z_i = 0$ $Z_i = 1$

— Damien
nguồn

là gì Ngoài ra, phần lớn của câu hỏi này dường như bị cắt và dán phần lớn từ một câu hỏi trước đó, khác nhau của @Rulk. Có phải bạn không

f

$f$

— Macro

@Macro: Macro có đó là tôi. Tôi không chắc chắn là gì . Tờ báo không bao giờ nói.

f

$f$

— Damien

Nguồn gốc của khó khăn bạn đang gặp phải trong câu:

Sau đó, sử dụng thuật toán EM, chúng ta có thể tối đa hóa khả năng đăng nhập thứ hai.

Như bạn đã quan sát, bạn không thể. Thay vào đó, những gì bạn tối đa hóa là giá trị mong đợi của khả năng nhật ký thứ hai (được gọi là "khả năng nhật ký dữ liệu hoàn chỉnh"), trong đó giá trị mong đợi được lấy qua . $z_i$

Điều này dẫn đến một quy trình lặp, trong đó tại lặp bạn tính toán các giá trị dự kiến của với các ước tính tham số từ lần lặp ( (đây được gọi là "Bước E ",) sau đó thay thế chúng vào khả năng ghi nhật ký dữ liệu hoàn chỉnh (xem EDIT bên dưới để biết lý do tại sao chúng ta có thể làm điều này trong trường hợp này) và tối đa hóa điều đó liên quan đến các tham số để có được ước tính cho lần lặp hiện tại (" bước M " .) $k^{th}$ $z_i$ $(k-1)^{th}$

Khả năng ghi nhật ký dữ liệu hoàn chỉnh cho Poisson bằng 0 trong trường hợp đơn giản nhất - hai tham số, giả sử và - cho phép đơn giản hóa đáng kể khi đến bước M và điều này mang đến một mức độ nào đó cho biểu mẫu của bạn. Tôi sẽ chỉ cho bạn cách nó hoạt động trong trường hợp đơn giản thông qua một số mã R, để bạn có thể thấy bản chất của nó. Tôi sẽ không đơn giản hóa càng nhiều càng tốt, vì điều đó có thể gây ra sự mất đi sự rõ ràng khi bạn nghĩ về vấn đề của mình: $\lambda$ $p$

# Generate data
# Lambda = 1,  p(zero) = 0.1
x <- rpois(10000,1)
x[1:1000] <- 0

# Sufficient statistic for the ZIP
sum.x <- sum(x)

# (Poor) starting values for parameter estimates
phat <- 0.5
lhat <- 2.0

zhat <- rep(0,length(x))
for (i in 1:100) {
  # zhat[x>0] <- 0 always, so no need to make the assignment at every iteration
  zhat[x==0] <- phat/(phat +  (1-phat)*exp(-lhat))

  lhat <- sum.x/sum(1-zhat) # in effect, removing E(# zeroes due to z=1)
  phat <- mean(zhat)   

  cat("Iteration: ",i, "  lhat: ",lhat, "  phat: ", phat,"\n")
}

Iteration:  1   lhat:  1.443948   phat:  0.3792712 
Iteration:  2   lhat:  1.300164   phat:  0.3106252 
Iteration:  3   lhat:  1.225007   phat:  0.268331 
...
Iteration:  99   lhat:  0.9883329   phat:  0.09311933 
Iteration:  100   lhat:  0.9883194   phat:  0.09310694

Trong trường hợp của bạn, ở mỗi bước, bạn sẽ thực hiện hồi quy Poisson có trọng số trong đó các trọng số là 1-zhatđể có được ước tính của và do đó , sau đó tối đa hóa: $\beta$ $\lambda_i$

$\sum (\mathbb{E}z_i\log{p_i} + (1-\mathbb{E}z_i)\log{(1-p_i)})$

đối với vectơ hệ số của ma trận để lấy ước tính của . Các giá trị mong đợi , một lần nữa được tính toán ở mỗi lần lặp. $\mathbf{G}$ $p_i$ $\mathbb{E}z_i = p_i/(p_i+(1-p_i)\exp{(-\lambda_i)})$

Nếu bạn muốn làm điều này cho dữ liệu thực, trái ngược với việc chỉ hiểu thuật toán, các gói R đã tồn tại; đây là một ví dụ http://www.ats.ucla.edu/stat/r/dae/zipoisson.htm bằng psclthư viện.

EDIT: Tôi nên nhấn mạnh rằng những gì chúng tôi đang làm là tối đa hóa giá trị mong đợi của khả năng ghi nhật ký dữ liệu hoàn chỉnh, KHÔNG tối đa hóa khả năng nhật ký dữ liệu hoàn chỉnh với các giá trị dự kiến của các biến dữ liệu / biến tiềm ẩn bị thiếu. khả năng ghi nhật ký dữ liệu hoàn chỉnh là tuyến tính trong dữ liệu bị thiếu, vì ở đây, hai cách tiếp cận là như nhau, nhưng nếu không, chúng không có.

— khuỷu tay
nguồn

@Cokes, bạn nên thêm thông tin này dưới dạng câu trả lời bổ sung của riêng bạn, không thay đổi câu trả lời hiện có. Chỉnh sửa này không nên được phê duyệt.

— gung - Phục hồi Monica