Các mô hình đồ họa và máy Boltzmann có liên quan đến toán học không?

Trong khi tôi thực sự đã thực hiện một số chương trình với các máy Boltzmann trong một lớp vật lý, tôi không quen với đặc tính lý thuyết của chúng. Ngược lại, tôi biết một lượng khiêm tốn về lý thuyết mô hình đồ họa (về một vài chương đầu của cuốn sách Mô hình đồ họa của Lauritzen ).

Câu hỏi: Có bất kỳ mối quan hệ có ý nghĩa giữa các mô hình đồ họa và máy Boltzmann không? Là máy Boltzmann là một loại mô hình đồ họa?

Rõ ràng máy Boltzmann là một loại mạng lưới thần kinh. Tôi đã nghe nói rằng một số mạng thần kinh có liên quan về mặt toán học với các mô hình đồ họa và một số thì không.

Các câu hỏi liên quan trên CrossValidated không trả lời câu hỏi của tôi: Câu hỏi
này tương tự như câu hỏi trước đây đã được hỏi: Mối quan hệ giữa các mô hình phân cấp, mạng thần kinh, mô hình đồ họa, mạng bayes là gì? nhưng cụ thể hơn.

Hơn nữa, câu trả lời được chấp nhận cho câu hỏi đó không làm rõ sự nhầm lẫn của tôi - ngay cả khi các nút trong biểu diễn đồ họa tiêu chuẩn của mạng thần kinh không đại diện cho các biến ngẫu nhiên, điều đó không nhất thiết có nghĩa là không tồn tại đại diện như vậy. Cụ thể, tôi đang suy nghĩ về cách các nút trong biểu diễn đồ họa điển hình của chuỗi Markov đại diện cho tập hợp các trạng thái có thể thay vì các biến ngẫu nhiên , nhưng người ta cũng có thể tạo một biểu đồ cho thấy mối quan hệ phụ thuộc có điều kiện giữa $X_i$ $X_i$ , cho thấy rằng mỗi chuỗi Markov trên thực tế là một trường ngẫu nhiên Markov. Câu trả lời cũng nói rằng các mạng thần kinh (có lẽ bao gồm cả máy Boltzmann) là "phân biệt đối xử", nhưng không đi sâu vào chi tiết hơn để giải thích ý nghĩa của tuyên bố đó, cũng không phải là câu hỏi tiếp theo rõ ràng "là các mô hình đồ họa không phân biệt đối xử?" giải quyết. Tương tự, câu trả lời được chấp nhận liên kết đến trang web của Kevin Murphy (tôi thực sự đã đọc một số luận án tiến sĩ của anh ấy khi tìm hiểu về các mạng Bayes), nhưng trang web này chỉ thảo luận về các mạng Bayes và hoàn toàn không đề cập đến mạng lưới thần kinh - vì vậy nó không thể làm sáng tỏ cách họ là khác nhau

Câu hỏi khác này có lẽ giống với tôi nhất: Mô hình hóa các mạng thần kinh dưới dạng mô hình đồ họa Tuy nhiên, không có câu trả lời nào được chấp nhận và tương tự chỉ đưa ra các tham chiếu nhưng không giải thích các tham chiếu (ví dụ: câu trả lời này ). Mặc dù một ngày nào đó tôi hy vọng có thể hiểu được các tài liệu tham khảo, ngay bây giờ tôi đang ở mức độ kiến thức cơ bản và hầu hết sẽ đánh giá cao một câu trả lời đơn giản nhất có thể. Ngoài ra, khóa học Toronto được liên kết đến trong câu trả lời hàng đầu ( http://www.cs.toronto.edu/~tijmen/csc321/lecture_notes.shtml ) giải quyết vấn đề này, nhưng không chi tiết lắm. Hơn nữa, các ghi chú cho một bài giảng có thể trả lời câu hỏi của tôi không có sẵn cho công chúng.

25 tháng 3 Bài 13b: Lưới niềm tin 7:43. Đối với slide này, hãy ghi nhớ Boltzmann Machines. Ở đó, chúng tôi cũng có các đơn vị ẩn và các đơn vị hiển thị, và tất cả đều có xác suất. BM và SBN có nhiều điểm chung hơn là có sự khác biệt. 9:16. Ngày nay, "Mô hình đồ họa" đôi khi được coi là một loại mạng thần kinh đặc biệt, nhưng trong lịch sử được mô tả ở đây, chúng được coi là các loại hệ thống rất khác nhau.

— Chill2Macht
nguồn

Câu trả lời:

Máy Boltzmann so với máy Boltzmann bị hạn chế

AFAIK các máy Boltzmann là một loại mô hình đồ họa và mô hình liên quan đến mạng thần kinh là các máy Boltzmann bị hạn chế (RBM).

Sự khác biệt giữa máy Boltzmann và máy Boltzmann bị hạn chế, từ cuốn sách Học máy theo quan điểm xác suất

RBM so với mạng lưới thần kinh

p (v, h) = \frac{1}{Z} \exp (\sum a_{i} v_{i} + \sum b_{j} h_{j} + \sum v_{i} h_{j} w_{i j})

$p(\mathbf{v},\mathbf{h})=\frac{1}{Z}\exp(\sum a_iv_i+\sum b_jh_j + \sum v_ih_jw_{ij})$

p (h_{j} = 1 | v) = σ (b_{j} + \sum v_{i} w_{i j})

$p(h_j=1|\mathbf{v})=\sigma(b_j+\sum v_iw_{ij})$

p (v_{i} = 1 | h) = σ (a_{i} + \sum h_{j} w_{i j})

$p(v_i=1|\mathbf{h})=\sigma(a_i+\sum h_jw_{ij})$

v

$\mathbf{v}$

h

$\mathbf{h}$

σ ()

$\sigma()$

Các xác suất có điều kiện được tính toán trong cùng một dạng của các lớp mạng, do đó, trọng số được đào tạo của RBM có thể được sử dụng trực tiếp làm trọng số của mạng thần kinh hoặc là điểm bắt đầu đào tạo.

Tôi nghĩ rằng bản thân RBM là một mô hình đồ họa hơn là một loại mạng thần kinh, vì nó không bị ảnh hưởng, nó có các độc lập có điều kiện được xác định rõ và nó sử dụng các thuật toán đào tạo riêng của nó (ví dụ như phân kỳ tương phản).

— không
nguồn

Rất vui vì đây là một câu trả lời thực sự tuyệt vời với một tài liệu tham khảo tuyệt vời. Cũng khiến tôi muốn đi xung quanh để đọc cuốn sách của Giáo sư Murphy sớm hơn. Tôi đánh giá cao thời gian bạn dành để thực hiện câu trả lời thấu đáo này.

— Chill2Macht

@William rất vui khi được giúp đỡ :)

— dontloo

v =

$v=$

h =

$h=$

σ () =

$\sigma()=$

@ GeoMatt22 cảm ơn bạn, tôi đã cập nhật câu trả lời.

— dontloo

Điều này chỉ xác nhận / xác minh câu trả lời được chấp nhận, rằng các máy Boltzmann thực sự là một trường hợp đặc biệt của mô hình đồ họa. Cụ thể, câu hỏi này được giải quyết trên trang 127-127 của Koller, Friedman, Mô hình đồ họa xác suất: Nguyên tắc và kỹ thuật , trong Hộp 4.C.

Một trong những loại mô hình mạng Markov sớm nhất là mô hình Ising xuất hiện đầu tiên trong vật lý thống kê là mô hình năng lượng của hệ thống vật lý liên quan đến hệ thống các nguyên tử tương tác ... Liên quan đến mô hình Ising là phân phối máy Boltzmann .. năng lượng kết quả có thể được điều chỉnh lại theo mô hình Ising (Bài tập 4.12).

Làm thế nào mô hình Ising, ban đầu là một khái niệm từ tài liệu cơ học thống kê, có thể được xây dựng như một mô hình đồ họa được đưa ra rất chi tiết trong Ví dụ 3.1, Phần 3.3., Trên trang 41-43 của Wainwright, Jordan, Mô hình đồ họa, Hàm mũ Gia đình, và suy luận biến đổi .

Rõ ràng mô hình Ising là công cụ nền tảng của lĩnh vực mô hình đồ họa vào cuối những năm 1970 và đầu những năm 1980, ít nhất là dựa trên những gì Steffen Lauritzen nói trong cả lời nói đầu và giới thiệu về cuốn sách của ông, Mô hình đồ họa . Giải thích này dường như cũng được hỗ trợ bởi Phần 4.8 trong cuốn sách được trích dẫn ở trên của Koller và Friedman.

Sự phát triển của các máy Boltzmann từ mô hình Ising có thể là một sự xuất hiện độc lập, dựa trên cùng một phần của Koller và Friedman, tuyên bố rằng "Máy Boltzmann lần đầu tiên được đề xuất bởi Hinton và Sejnowski (1983)", dường như đã có xảy ra sau công việc ban đầu trong việc phát triển các trường ngẫu nhiên Markov dưới dạng khái quát hóa mô hình Ising, mặc dù công việc đằng sau bài báo đó có thể đã bắt đầu sớm hơn nhiều so với năm 1983.

Sự nhầm lẫn của tôi về mối quan hệ này, khi tôi viết câu hỏi này hơn một năm trước, xuất phát từ việc lần đầu tiên tôi gặp cả mô hình Ising và mô hình máy Boltzmann cho tế bào thần kinh, trong tài liệu vật lý. Như Koller và Friedman đề cập, tài liệu trong cộng đồng vật lý thống kê về mô hình Ising và các khái niệm liên quan thực sự rất lớn.

Theo kinh nghiệm của tôi, nó cũng khá đơn giản, theo nghĩa là trong khi các nhà thống kê và nhà khoa học máy tính nghiên cứu các mô hình đồ họa sẽ đề cập đến lĩnh vực này liên quan đến cơ học thống kê như thế nào, tôi chưa từng tìm thấy từ tài liệu vật lý thống kê đề cập đến các kết nối với các lĩnh vực khác hoặc cố gắng khai thác nó. (Do đó khiến tôi nghi ngờ và bối rối bởi khái niệm rằng có thể có bất kỳ kết nối nào như vậy đến các lĩnh vực khác.)

Để biết ví dụ về quan điểm của nhà vật lý về cả mô hình Ising và máy Boltzmann, hãy xem sách giáo khoa từ khóa học mà lần đầu tiên tôi biết về nó. Nó cũng đề cập đến các phương pháp trường, nếu tôi nhớ chính xác, một cái gì đó cũng được thảo luận trong bài báo của Jordan và Wainwright được trích dẫn ở trên.

— Chill2Macht
nguồn

kết nối có thể rất mỏng và chủ yếu dựa vào việc sử dụng chức năng phân vùng , là cơ sở của cơ học thống kê và theo cấp số nhân của tổng số sản phẩm bên trong. Hàm softmax cũng sử dụng hình thức này để nomenaclature duy trì di sản của các thuật ngữ và nhiều nhà vật lý làm việc (ed) trong ML (ví dụ: Christopher Bishop).

— Vass