Trợ giúp Tối đa hóa kỳ vọng từ giấy: làm thế nào để bao gồm phân phối trước?

9

Câu hỏi dựa trên bài báo có tiêu đề: Tái tạo hình ảnh trong chụp cắt lớp quang học khuếch tán bằng mô hình khuếch tán vận chuyển bức xạ kết hợp

Liên kết tải xuống

Các tác giả áp dụng thuật toán EM với độ chính thưa của của một vectơ không xác định để ước tính các pixel của hình ảnh. Mô hình được đưa ra bởi $l_1$ $\mu$

\begin{matrix} (1) & y = = Một μ + e \end{matrix}

$y=A\mu + e \tag{1}$ Ước tính được đưa ra trong biểu thức (8) là

\begin{matrix} (2) & \hat{μ} = = tranh luận m một x \ln p (y | μ) + γ \ln p (μ) \end{matrix}

$\hat{\mu} = \arg max {\ln p(y|\mu) + \gamma \ln p(\mu)} \tag{2}$

Trong trường hợp của tôi, tôi đã coi là một bộ lọc có độ dài và là các vectơ đại diện cho các bộ lọc. Vì thế, $\mu$ $L$ $\mathbf{\mu}$ $L \times 1$

Mô hình có thể được viết lại thành

\begin{matrix} (3) & y (n) = = μ^{T} một (n) + v (n) \end{matrix}

$y(n) = \mathbf{\mu^T}a(n) + v(n) \tag{3}$

Câu hỏi: Xây dựng vấn đề: (n by 1) là đầu vào không quan sát được và là giá trị trung bình bằng 0 với phương sai không xác định nhiễu phụ gia. Giải pháp MLE sẽ dựa trên Tối đa hóa kỳ vọng (EM). ${\mu(n)}$ $\{e(n)\}$ $\sigma^2_e$

Trong bài báo Eq (19) là hàm - khả năng ghi nhật ký hoàn chỉnh nhưng đối với trường hợp của tôi, tôi không hiểu làm thế nào tôi có thể đưa phân phối của vào biểu thức khả năng ghi nhật ký hoàn chỉnh. $A$ $A, \mu$

Điều gì sẽ là khả năng đăng nhập hoàn chỉnh sử dụng EM của bao gồm phân phối trước? $y$

— SKM
nguồn

Bạn có thực sự muốn khả năng đăng nhập hay thay vào đó bạn muốn đăng nhập sau? Chỉ sau này sẽ bao gồm Laplacian trước. Cái trước chỉ có thể có được bằng cách lấy nhật ký của khả năng, mà dường như bạn đã viết ra

Có hai biểu thức mà tôi muốn - (1) Một biểu thức sẽ được sử dụng để tìm Ma trận thông tin Fisher và (2) khác sẽ là pdf của tập dữ liệu hoàn chỉnh bao gồm biến ẩn và các quan sát là khớp mật độ xác suất của dữ liệu quan sát là một hàm của tham số . Bản pdf mà tôi đã viết có thể áp dụng cho mô hình MA để ước tính mù . Nhưng, nó sẽ khác nhau như thế nào đối với ràng buộc về độ thưa thớt = Laplacian trước để Ma trận thông tin Fisher từ các dẫn xuất một phần của khả năng đăng nhập có thể được tìm thấy.

Z

$Z$

θ

$\theta$

θ

$\theta$

— SKM

@ Tây An: Tôi không hiểu làm thế nào để cắm 3 pdf, trong đó bao gồm trước khi xây dựng khả năng đăng nhập. Tôi có thể tìm ra mức tối đa hóa để lấy đạo hàm riêng và bằng 0. Bạn có thể vui lòng đưa ra một câu trả lời với biểu thức khả năng được viết rõ ràng. Điều này thực sự có ích

— SKM

3

tranh luận \underset{θ}{tối đa} L (θ | x) π (θ) = = tranh luận \underset{θ}{tối đa} đăng nhập L (θ | x) + đăng nhập π (θ)

$\arg\max_\theta L(\theta|x)\pi(\theta) = \arg\max_\theta \log L(\theta|x) + \log \pi(\theta)$

đăng nhập L (θ | x) = = E [đăng nhập L (θ | x, Z) | x, θ ⁰] - E [đăng nhập q (Z | x, θ) | x, θ ⁰]

$\log L(\theta|x) = \mathbb{E}[\log L(\theta|x,Z)|x,\theta⁰]-\mathbb{E}[\log q(Z|x,\theta)|x,\theta⁰]$

θ ⁰

$\theta⁰$

q (z | x, θ) = = f (x, z | θ) / g (x | θ)

$q(z|x,\theta)=f(x,z|\theta) \big/ g(x|\theta)$

g (x | θ) = = f (x, z | θ) / q (z | x, θ)

$g(x|\theta) = f(x,z|\theta) \big/ q(z|x,\theta)$

z

$z$

Z

$Z$

đăng nhập g (x | θ) = = đăng nhập f (x, z | θ) - đăng nhập q (z | x, θ) = = E [đăng nhập f (x, Z | θ) - đăng nhập q (Z | x, θ) | x]

$\log g(x|\theta) = \log f(x,z|\theta) - \log q(z|x,\theta) = \mathbb{E}[\log f(x,Z|\theta) - \log q(Z|x,\theta)|x]$

Z

$Z$ đã cho , ví dụ . Do đó, nếu chúng tôi tối đa hóa trong với giải pháp chúng tôi có trong khi bằng các đối số chuẩn của EM. Do đó, và sử dụng làm E bước vào mục tiêu

X = x

$X=x$

q (z | x, θ ⁰)

$q(z|x,\theta⁰)$

θ

$\theta$

E [đăng nhập L (θ | x, Z) | x, θ ⁰] + đăng nhập π (θ)

$\mathbb{E}[\log L(\theta|x,Z)|x,\theta⁰]+ \log \pi(\theta)$

θ^{1}

$\theta^1$

E [đăng nhập L (θ^{1} | x, Z) | x, θ ⁰] + đăng nhập π (θ^{1}) \geq E [đăng nhập L (θ ⁰ | x, Z) | x, θ ⁰] + đăng nhập π (θ ⁰)

$\mathbb{E}[\log L(\theta^1|x,Z)|x,\theta⁰]+ \log \pi(\theta^1)\ge\mathbb{E}[\log L(\theta⁰|x,Z)|x,\theta⁰]+ \log \pi(\theta⁰)$

E [đăng nhập q (Z | x, θ ⁰) | x, θ ⁰] \geq E [đăng nhập q (Z | x, θ^{1}) | x, θ ⁰]

$\mathbb{E}[\log q(Z|x,\theta⁰)|x,\theta⁰]\ge\mathbb{E}[\log q(Z|x,\theta^1)|x,\theta⁰]$

E [đăng nhập L (θ^{1} | x, Z) | x, θ ⁰] + đăng nhập π (θ^{1}) \geq E [đăng nhập L (θ ⁰ | x, Z) | x, θ ⁰] + đăng nhập π (θ ⁰)

$\mathbb{E}[\log L(\theta^1|x,Z)|x,\theta⁰]+ \log \pi(\theta^1)\ge\mathbb{E}[\log L(\theta⁰|x,Z)|x,\theta⁰]+ \log \pi(\theta⁰)$

E [đăng nhập L (θ | x, Z) | x, θ ⁰] + đăng nhập π (θ)

$\mathbb{E}[\log L(\theta|x,Z)|x,\theta⁰]+ \log \pi(\theta)$ dẫn đến sự gia tăng về phía sau ở mỗi bước M, có nghĩa là thuật toán EM đã sửa đổi hội tụ đến một MAP địa phương.

— Tây An
nguồn

Cảm ơn bạn đã trả lời của bạn. Có đại diện cho pdf của không? Bạn có thể vui lòng tại sao có 2 kỳ vọng với Bị trừ trong phương trình được đề cập trong dòng thứ hai không?

q ()

$q()$

Z

$Z$

E [l o g q (.)]

$E[log q(.)]$

— SKM

Tôi đã thêm một số giải thích, nhưng bạn nên kiểm tra trong sách giáo khoa về đạo hàm của thuật toán EM vì đây là tài liệu chuẩn.

— Tây An

1

Tôi không nghĩ rằng việc hiển thị log-post tăng đơn điệu (hoặc khả năng đăng nhập cho MLE) là đủ để hiển thị sự hội tụ đến điểm dừng của ước tính MAP (hoặc MLE). Ví dụ, số gia có thể trở nên nhỏ tùy ý. Trong bài báo nổi tiếng của Wu 1983 , một điều kiện đủ để hội tụ đến điểm dừng của EM là sự khác biệt trong cả hai đối số của hàm ràng buộc dưới.

— Jim.Z
nguồn