Câu hỏi về cách sử dụng EM để ước tính các tham số của mô hình này

Tôi đang cố gắng hiểu EM và cố gắng suy ra các tham số của mô hình này bằng kỹ thuật này nhưng gặp khó khăn trong việc hiểu làm thế nào để bắt đầu:

Vì vậy, tôi có một mô hình hồi quy tuyến tính có trọng số như sau khi tôi có các quan sát và các quan sát tương ứng . Mô hình mối quan hệ giữa và là mô hình hồi quy tuyến tính có trọng số và các giả định phân phối như sau:$X = (x_i, x_2....x_n)$$Y = (y_1, y_2....y_n)$$X$$Y$

$$y_i \sim \mathcal{N}(\beta^Tx_i, \frac{\sigma^2}{w_i})$$ $$\beta \sim \mathcal{N}(0, \Sigma_\beta)$$ $$w_i \sim \mathcal{G}(a, b)$$

Ở đây là các tham số hồi quy và mô hình cho phép các phương sai không bằng nhau bằng cách có các biến trả lời để có các trọng số riêng cho phương sai. Mục tiêu của tôi là tìm mối quan hệ tuyến tính rất có thể được đưa ra bởi các tham số .$\beta$$\beta$

Vì vậy, bây giờ tôi có thể viết log-posterior như sau:

$$\log P(Y, \beta, w|X) = \sum_{i=1}^n \big(\log P(y_i|x_i, \beta, w_i) + \log P(w_i)\big) + log P(\beta)$$

Bây giờ, tôi đã cố gắng hiểu EM và không chắc rằng sự hiểu biết của tôi vẫn chưa hoàn chỉnh nhưng vì tôi hiểu nó, để bắt đầu ước tính các tham số, tôi bắt đầu bằng cách kỳ vọng phân phối log-posterior đối với các tham số tiềm ẩn / ẩn mà trong trường hợp của tôi là và . Vì vậy, giá trị mong đợi này sẽ là:$\log P(Y, \beta, w|X)$$\beta$$w$

$$\int\int P(\beta, w | X) * \log P(Y, \beta, w | X) dw \;d\beta$$

Tuy nhiên, tôi không biết làm thế nào để tiến hành từ đây để tính toán kỳ vọng này. Sẽ đánh giá rất cao bất kỳ đề xuất về những gì bước tiếp theo nên được. Tôi không tìm kiếm ai đó để lấy cho tôi tất cả những điều cần thiết mà chỉ là một cú huých đúng hướng về những gì tôi nên tìm cách giải quyết trong các bước tiếp theo.

Trước tiên, hãy để tôi nhớ lại những điều cơ bản của thuật toán EM. Khi tìm kiếm ước tính khả năng tối đa về khả năng của biểu mẫu thuật toán tiến hành bằng cách tối đa hóa khả năng đăng nhập tối đa (M) dự kiến ​​(E) kết quả trong việc tối đa hóa (trong ) tại lặp chức năng Do đó, thuật toán phải bắt đầu bằng cách xác định biến tiềm ẩn và phân phối có điều kiện của nó.

$$\int f(x,z|\beta)\text{d}z,$$ $\beta$$t$ $$Q(\beta|\beta_i)=\int \log f(x,z|\beta) f(z|x,\beta_t)\text{d}z$$ $z$

Trong trường hợp của bạn, có vẻ như biến tiềm ẩn là được tạo bởi trong khi tham số quan tâm là . Nếu bạn xử lý cả và dưới dạng các biến tiềm ẩn thì sẽ không còn tham số nào để tối ưu hóa. Tuy nhiên, điều này cũng có nghĩa là trước không được sử dụng.$\varpi$$w_i$$\beta$$\beta$$\varpi$$\beta$

Nếu chúng ta nhìn chính xác hơn vào trường hợp của , phân phối có điều kiện của nó được đưa ra bởi có nghĩa là một phân phối.$w_i$

$$f(w_i|x_i,y_i,\beta)\propto\sqrt{w_i}\exp\left\{-w_i(y_i-\beta^Tx_i)^2/2\sigma^2\right\}\times w_i^{a-1}\exp\{-bw_i\}$$ $$\mathcal{G}\left(a+1/2,b+(y_i-\beta^Tx_i)^2/2\sigma^2\right)$$

Khả năng đăng nhập đã hoàn thành là phần phụ thuộc trên đơn giản hóa là và hàm tỷ lệ thuận với Tối đa hóa hàm này trong lên tới hồi quy tuyến tính có trọng số, với trọng số

$$\sum_i \frac{1}{2}\left\{\log(w_i)- w_i(y_i-\beta^Tx_i)^2/\sigma^2\right\}$$ $\beta$ $$-\sum_iw_i(y_i-\beta^Tx_i)^2/2\sigma^2$$ $-Q(\beta|\beta_t)$ $$\begin{align*}\mathbb{E}\left[\sum_iw_i(y_i-\beta^Tx_i)^2\Big|X,Y,\beta_t\right]&=\sum_i\mathbb{E}[w_i|X,Y,\beta_t](y_i-\beta^Tx_i)^2\\&=\sum_i\frac{a+1/2}{b+(y_i-\beta_t^Tx_i)^2/2\sigma^2}(y_i-\beta^Tx_i)^2\end{align*}$$ $\beta$ $$\frac{a+1/2}{b+(y_i-\beta_t^Tx_i)^2/2\sigma^2}$$