Sự khác biệt giữa Trường ngẫu nhiên Markov và Trường ngẫu nhiên có điều kiện là gì?

Nếu tôi sửa các giá trị của các nút được quan sát của MRF, nó có trở thành CRF không?

Ok, tôi tự tìm câu trả lời:

Trường ngẫu nhiên Conditinal (CRF) là trường hợp đặc biệt của Trường ngẫu nhiên Markov (MRF).

1.5.4 Trường ngẫu nhiên có điều kiện

Trường ngẫu nhiên có điều kiện (CRF) là một dạng MRF xác định hậu thế cho các biến x dữ liệu đã cho z, như với MRF ẩn ở trên. Tuy nhiên, không giống như MRF ẩn, việc nhân tố hóa vào phân phối dữ liệu P (x | z) và P (x) trước đó không được làm rõ ràng [288]. Điều này cho phép các phụ thuộc phức tạp của x trên z được viết trực tiếp trong phân phối sau, mà không cần xác định rõ hệ số. (Với P (x | z), các yếu tố như vậy luôn tồn tại, tuy nhiên, rất nhiều người trong số họ, trên thực tế, vì vậy không có ý kiến ​​cho rằng CRF tổng quát hơn MRF ẩn, chỉ có điều đó có thể thuận tiện hơn để đối phó .)

Nguồn: Blake, Kohli và Rother: Các trường ngẫu nhiên của Markov để xử lý hình ảnh và hình ảnh. 2011.

Trường ngẫu nhiên có điều kiện hoặc CRF (Lafferty et al. 2001), đôi khi là trường ngẫu nhiên phân biệt đối xử (Kumar và Hebert 2003), chỉ là một phiên bản của MRF trong đó tất cả các tiềm năng của cụm được điều chỉnh dựa trên các tính năng đầu vào: [...]

Ưu điểm của CRF so với MRF tương tự như lợi thế của phân loại phân biệt đối xử so với phân loại thế hệ (xem Phần 8.6), cụ thể là, chúng ta không cần lãng phí tài nguyên mô hình hóa những thứ mà chúng ta luôn quan sát. [...]

Nhược điểm của CRF so với MRF là chúng yêu cầu dữ liệu đào tạo được dán nhãn và chúng chậm hơn để đào tạo [...]

Nguồn: Kevin P. Murphy: Học máy: Quan điểm xác suất

Trả lời câu hỏi của tôi:

Nếu tôi sửa các giá trị của các nút được quan sát của MRF, nó có trở thành CRF không?

Đúng. Sửa các giá trị cũng giống như điều hòa trên chúng. Tuy nhiên, bạn cũng cần lưu ý rằng có sự khác biệt trong đào tạo.

Xem nhiều bài giảng về PGM (mô hình đồ họa xác suất) trên coursera đã giúp tôi rất nhiều.

Lưới MRF vs Bayes : Nói một cách không chính xác (nhưng thông thường) , có hai loại mô hình đồ họa: mô hình đồ họa không định hướng và mô hình đồ họa có hướng (ví dụ thêm một loại, ví dụ đồ thị Tanner). Mạng trước đây còn được gọi là mạng ngẫu nhiên Markov / mạng Markov và mạng lưới Bayes / mạng Bayes sau này. (Đôi khi các giả định độc lập trong cả hai có thể được biểu thị bằng các biểu đồ hợp âm)

Markov ngụ ý cách nó nhân tố và trường ngẫu nhiên có nghĩa là một phân phối cụ thể giữa những người được xác định bởi một mô hình không xác định.

CRF $\in$ MRF : Khi quan sát thấy một số biến, chúng ta có thể sử dụng cùng biểu diễn đồ thị vô hướng (như đồ thị vô hướng) và tham số hóa để mã hóa phân phối có điều kiện $P(Y|X)$ trong đó $Y$ là một tập hợp các biến đích và $X$ là một (tách rời ) tập hợp các biến quan sát.

Và sự khác biệt duy nhất nằm ở chỗ đối với một mạng Markov tiêu chuẩn, thuật ngữ chuẩn hóa tính tổng so với X và Y nhưng đối với CRF, thuật ngữ này chỉ tính tổng Y.

Tài liệu tham khảo:

1. Các mô hình đồ họa vô hướng (các trường ngẫu nhiên Markov)
2. Nguyên tắc và kỹ thuật mô hình đồ họa xác suất (2009, Báo chí MIT)
3. Trường ngẫu nhiên Markov

Chúng ta hãy đối chiếu suy luận có điều kiện theo MRF với mô hình hóa bằng CRF, giải quyết các định nghĩa trên đường đi và sau đó giải quyết câu hỏi ban đầu.

MRF

$G$

1. $G$
2. $G$$V_i$$V_j$$V_i$$V_j$$\mathcal{B}_i$$P(\{V_i\})$ $G$

Suy luận có điều kiện theo MRF

Do MRF đại diện cho phân phối chung trên nhiều biến tuân theo các ràng buộc Markov, nên chúng ta có thể tính toán phân phối xác suất có điều kiện với các giá trị quan sát được của một số biến.

Ví dụ: nếu tôi có phân phối chung trên bốn biến ngẫu nhiên: IsRained, SprinklerOn, SidewalkWet và GrassWet, thì vào thứ Hai, tôi có thể muốn suy ra phân phối xác suất chung qua IsRained và SprinklerOn vì tôi đã quan sát SidewalkWet = false và GrassWet = Thật. Vào thứ ba, tôi có thể muốn suy ra phân phối xác suất chung trên IsRained và SprinklerOn do tôi đã quan sát SidewalkWet = True và GrassWet = True.

Nói cách khác, chúng ta có thể sử dụng cùng một mô hình MRF để suy luận trong hai tình huống khác nhau này, nhưng chúng ta sẽ không nói rằng chúng ta đã thay đổi mô hình. Trên thực tế, mặc dù chúng tôi đã quan sát SidewalkWet và GrassWet trong cả hai trường hợp được mô tả ở đây, bản thân MRF không có "biến quan sát" mỗi se --- tất cả các biến có cùng trạng thái trong mắt của MRF, do đó MRF cũng có mô hình, ví dụ: phân phối chung của SidewalkWet và GrassWet.

CRF

$G$

1. $G$$\{X_i\}_{i=1}^n$$\{Y_i\}_{i=1}^m$
2. $P(\{Y_i\}_{i=1}^m|\{X_i\}_{i=1}^n)$$G$

Sự khác biệt

$G$

1. chỉ định một tập hợp con các biến là "quan sát"

2. chỉ định nghĩa một phân phối có điều kiện trên các biến quan sát không được quan sát; nó không mô hình xác suất của các biến quan sát (nếu phân phối được biểu thị theo các tham số, điều này thường được coi là một lợi ích vì các tham số không bị lãng phí trong việc giải thích xác suất của những điều sẽ luôn được biết)

3. $G$

$\{X_i\}$$G$$G'$$\{Y_i\}$$\{Y_i\}$$\{X_i\}$$\{Y_i\}$$\{X_i\}$

Thí dụ

$Y_i$$X_1, X_2, ... X_{n-1}$$X_n$

$G$$\{X_i\}$$\{Y_i\}$$\{X_i\}$

Phần kết luận

$G$$G$$G$$G$$G$$G$

Ngoài khả năng tiết kiệm tiềm năng của các tham số mô hình, tăng tính biểu cảm của mô hình có điều kiện và duy trì hiệu quả suy luận, một điểm quan trọng cuối cùng về công thức CRF là, đối với các mô hình rời rạc (và một tập hợp lớn các mô hình không rời rạc), mặc dù tính biểu cảm của họ CRF, khả năng đăng nhập có thể được biểu thị dưới dạng hàm lồi của các tham số chức năng cho phép tối ưu hóa toàn cầu với độ dốc giảm dần.

Xem thêm: giấy crf gốc và hướng dẫn này