Khi làm Markov ngẫu nhiên lĩnh vực

Trong sách giáo khoa của họ, Mô hình đồ họa, Gia đình hàm mũ và Suy luận biến đổi , M. Jordan và M. Wainwright thảo luận về mối liên hệ giữa các gia đình hàm mũ và Trường ngẫu nhiên Markov (mô hình đồ họa vô hướng).

Tôi đang cố gắng để hiểu rõ hơn về mối quan hệ giữa họ với các câu hỏi sau:

• Có phải tất cả các thành viên MRF của các gia đình mũ?
• Tất cả các thành viên từ các gia đình mũ có thể được đại diện như một MRF không?
• Nếu MRFs Các gia đình hàm mũ, một số ví dụ tốt về phân phối của một loại không được loại trừ trong loại kia là gì?$\neq$

Từ những gì tôi hiểu trong sách giáo khoa của họ (Chương 3), Jordan và Wainwright trình bày lập luận tiếp theo:

1. Giả sử chúng ta có một biến ngẫu nhiên vô hướng X theo một số phân phối và rút ra các quan sát iid và chúng tôi muốn xác định .n X 1 , ... X n$p$$n$$X^1, \ldots X^n$$p$

2. Chúng tôi tính toán kỳ vọng theo kinh nghiệm của các chức năng nhất định$\phi_\alpha%$

   alpha∈$\hat{\mu}_\alpha= \frac{1}{n}\sum^n_{i=1}\phi_\alpha(X^i),$ với tất cả$\alpha \in \mathcal{I}$

   trong đó mỗi trong một số tập lập chỉ mục một hàmI ϕ α : X → $\alpha$$\mathcal{I}$$\phi_\alpha: \mathcal{X} \rightarrow R$

3. Sau đó, nếu chúng ta buộc hai bộ đại lượng sau phải đồng nhất, nghĩa là khớp (để xác định ):$p$

   • Sự mong đợi của thống kê đủ của phân phốiϕ $E_p[(\phi_\alpha(X)]=\int_\mathcal{X}\phi_\alpha(x)p(x)\nu(dx)$$\phi$$p$

   • Những kỳ vọng dưới sự phân phối theo kinh nghiệm

chúng ta có một vấn đề chưa được xác định rõ ràng , theo nghĩa là có nhiều phân phối phù hợp với các quan sát. Vì vậy, chúng ta cần một nguyên tắc để lựa chọn trong số họ (để xác định ).$p$$p$

Nếu chúng ta sử dụng nguyên tắc entropy tối đa để loại bỏ sự không xác định này, chúng ta có thể nhận được một :$p$

E p [ ( φ alpha ( X ) ] = L alpha alpha ∈ $\DeclareMathOperator*{\argmax}{arg\,max} p^* = \argmax_{p\in{\mathcal{P}}} \,H(p)$ tuân theo cho tất cả$E_p[(\phi_\alpha(X)] = \hat{\mu}_\alpha$$\alpha \in \mathcal{I}$

trong đó này có dạng exp trong đó đại diện cho một tham số hóa của phân phối ở dạng gia đình hàm mũ.p θ ( x ) alpha Σ alpha ∈ I θ alpha φ alpha ( x ) , θ ∈ R $p^*$$p_\theta(x) \propto$${\sum_{\alpha \in \mathcal{I}}\theta_\alpha \phi_\alpha(x)},$$\theta \in R^d$

Nói cách khác, nếu chúng ta

1. Làm cho kỳ vọng của các bản phân phối phù hợp với các kỳ vọng theo phân phối theo kinh nghiệm
2. Sử dụng nguyên tắc entropy tối đa để thoát khỏi sự không xác định

$\rightarrow$ Chúng tôi kết thúc với một phân phối của gia đình hàm mũ.

Tuy nhiên, điều này trông giống như một cuộc tranh luận để giới thiệu các gia đình theo cấp số nhân và (theo như tôi có thể hiểu) nó không mô tả mối quan hệ giữa MRF và exp. các gia đình. Tôi có thiếu thứ gì không?

Bạn hoàn toàn chính xác - lập luận bạn đưa ra liên quan đến gia đình hàm mũ theo nguyên tắc entropy tối đa, nhưng không liên quan gì đến MRF.

Để giải quyết ba câu hỏi ban đầu của bạn:

Tất cả các thành viên từ các gia đình mũ có thể được đại diện như một MRF không?

Có phải tất cả các thành viên MRF của các gia đình mũ?

$are$

$\neq$

Phân phối hỗn hợp là ví dụ phổ biến của phân phối gia đình không theo cấp số nhân. Hãy xem xét mô hình không gian trạng thái Gaussian tuyến tính (giống như mô hình Markov ẩn, nhưng với các trạng thái ẩn liên tục và phân phối chuyển tiếp và phát xạ Gaussian). Nếu bạn thay thế hạt nhân chuyển tiếp bằng hỗn hợp Gaussian, phân phối kết quả không còn thuộc họ hàm mũ (nhưng nó vẫn giữ đặc tính cấu trúc độc lập có điều kiện phong phú của các mô hình đồ họa thực tế).

[1] http://en.wikipedia.org/wiki/Markov_random_field