Hướng dẫn tốt cho các máy Boltzmann bị hạn chế (RBM)

10

Tôi đang nghiên cứu Máy Boltzmann bị hạn chế (RBM) và đang gặp một số vấn đề trong việc hiểu các tính toán khả năng nhật ký liên quan đến các tham số của RBM. Mặc dù rất nhiều tài liệu nghiên cứu về RBM đã được xuất bản, không có các bước chi tiết của các công cụ phái sinh. Sau khi tìm kiếm trực tuyến tôi đã có thể tìm thấy chúng trong tài liệu này:

Fischer, A., & Igel, C. (2012). Giới thiệu về Máy Boltzmann bị hạn chế. Trong L. Alvarez và cộng sự. (Eds.): CIARP, LNCS 7441, trang 14 Ném36, Springer-Verlag: Berlin-Heidelberg. ( pdf )

Tuy nhiên, các chi tiết của tài liệu này là quá cao cấp đối với tôi. Ai đó có thể chỉ cho tôi một hướng dẫn tốt / bộ ghi chú bài giảng về RBM không?

Chỉnh sửa: @David, phần khó hiểu được hiển thị bên dưới (phương trình 29 trong trang 26):

$\begin{aligned} \frac{\partial \ln L (θ | v)}{\partial w_{i j}} & = - \sum_{h} p (h | v) \frac{\partial E (v, h)}{\partial w_{i j}} + \sum_{v, h} p (v, h) \frac{\partial E (v, h)}{\partial w_{i j}} \\ = \sum_{h} p (h | v) h_{i} v_{j} - \sum_{v} p (v) \sum_{h} p (h | v) h_{i} v_{j} \\ (29) & = p (H_{i} = 1 | v) v_{j} - \sum_{v} p (v) p (H_{i} = 1 | v) v_{j} . \end{aligned}$ $\begin{align} \frac{\partial\ln\mathcal{L}(\theta|v)}{\partial w_{ij}} &= -\sum_h p(h|v)\frac{\partial E(v, h)}{\partial w_{ij}} + \sum_{v,h} p(v,h)\frac{\partial E(v,h)}{\partial w_{ij}} \\[5pt] &= \sum_h p(h|v)h_iv_j - \sum_v p(v) \sum_h p(h|v)h_iv_j \\[5pt] &= \color{orange}{\boxed{\color{black}{p(H_i=1|v)}}}v_j - \sum_v p(v) \color{orange}{\boxed{\color{black}{p(H_i=1|v)}}}v_j\; . \tag{29} \end{align}$

references rbm

— Upul
nguồn

Bạn có thể cụ thể hơn về những bước đang làm bạn bối rối?

— David J. Harris

1

đọc tốt là chương 5 của việc học các kiến trúc sâu cho AI ( iro.umontreal.ca/~bengioy/ con / ftml_book.pdf )

— dksahuji

@dksahuji cảm ơn vì INFO, cũng như prof: Bengio đang viết một bản DL và bản nháp có sẵn tại iro.umontreal.ca/~bengioy/dlbook

— Upul

Hướng dẫn này có giải thích về toán học của RBM ( Hướng dẫn về các máy Boltzmann bị hạn chế ).

— Jiang Xiang

7

Tôi biết nó hơi muộn, nhưng có lẽ nó giúp. Để có được thuật ngữ đầu tiên của phương trình của bạn, phải thực hiện các bước sau: Chúng tôi đã giả định rằng sự độc lập có điều kiện giữa các đơn vị ẩn, cho các đơn vị nhìn thấy, tồn tại. Do đó chúng ta có thể nhân tố phân phối xác suất chung có điều kiện cho các trạng thái ẩn.

\begin{aligned} \sum_{h} p (h | v) h_{i} v_{j} & = v_{j} \sum_{h_{1}} . . . \sum_{h_{i}} . . . \sum_{h_{n}} p (h_{1}, . . ., h_{i}, . . . h_{n} | v) h_{i} \\ = v_{j} \sum_{h_{i}} \sum_{h_{_i}} p (h_{i}, h_{_i} | v) h_{i} \end{aligned}

$\begin{align} \sum_{\mathbf{h}} p(\mathbf{h} | \mathbf{v})h_iv_j &= v_j \sum_{h_1}...\sum_{h_i}...\sum_{h_n} p(h_1,...,h_i,...h_n | \mathbf{v}) h_i \\[5pt] &= v_j \sum_{h_i} \sum_{\mathbf{h_{\_ i}}}p(h_i, \mathbf{h_{\_i}} | \mathbf{v}) h_i \end{align}$

\begin{aligned} = v_{j} \sum_{h_{i}} \sum_{h_{_i}} p (h_{i} | v) h_{i} p (h_{_i} | v) \\ = v_{j} \sum_{h_{i}} p (h_{i} | v) h_{i} \sum_{h_{_i}} p (h_{_i} | v) \end{aligned}

$\begin{align} &= v_j \sum_{h_i} \sum_{\mathbf{h_{\_ i}}} p(h_i | \mathbf{v}) h_i \: p(\mathbf{h_{\_ i}}|\mathbf{v}) \\[5pt] &= v_j \sum_{h_i} p(h_i | \mathbf{v}) h_i \: \sum_{\mathbf{h_{\_ i}}} p(\mathbf{h_{\_ i}}|\mathbf{v}) \end{align}$ Thuật ngữ cuối cùng bằng , vì chúng tôi đang tổng kết trên tất cả các tiểu bang. Do đó, những gì còn lại, là thuật ngữ đầu tiên. Vì chỉ mất trạng thái và chúng tôi kết thúc bằng:

1

$1$

h_{i}

$h_i$

1

$1$

0

$0$

= v_{j} p (H_{i} = 1 | v)

$\hspace{-25mm}= v_j \: p(H_i = 1 | \mathbf{v})$

— peschn
nguồn

7

Có một hướng dẫn tốt về RBM trên trang web deeplearning .
Bài đăng trên blog này ( Giới thiệu về Máy Boltzmann bị hạn chế ) được viết bằng ngôn ngữ đơn giản hơn và giải thích rất cơ bản về RBMS:
Ngoài ra, có thể tài liệu tham khảo tốt nhất là khóa học Mạng thần kinh của Geoff Hinton trên Coursea:

Tôi không chắc chắn nếu bạn có thể truy cập lớp và video sau khi kết thúc lớp học.

— sjm.majewski
nguồn

2

Vẫn có người đăng ký lớp Coursera và đăng lên diễn đàn. Bạn vẫn có thể xem tất cả các bài giảng, và truy cập tất cả các câu đố và bài tập lập trình (trong số các câu đố). Thông tin này có thể sẽ được cập nhật cho đến khi khóa học được cung cấp một lần nữa. Tôi khuyên bạn nên đăng ký khóa học chỉ để xem hoặc tải tài liệu.

— Douglas Zare

1

Hộp màu cam bên trái cung cấp cho bạn giá trị dự kiến của gradient năng lượng trên tất cả các cấu hình ẩn được cung cấp rằng một số vectơ hiển thị được kẹp trên các đơn vị hiển thị (kỳ vọng về dữ liệu vì nó sử dụng một mẫu từ tập huấn luyện của bạn). Bản thân thuật ngữ này là sản phẩm của (1) xác suất nhìn thấy một đơn vị ẩn i cụ thể trên cho rằng một số vectơ v được kẹp trên các đơn vị nhìn thấy và (2) trạng thái của một đơn vị hiển thị cụ thể j.

Hộp màu cam bên phải giống với hộp bên trái, ngoại trừ bạn đang làm gì trong hộp màu cam bên trái cho mọi cấu hình có thể nhìn thấy thay vì chỉ được kẹp trên các đơn vị có thể nhìn thấy (kỳ vọng vào mô hình vì không có gì được kẹp trên các đơn vị nhìn thấy).

— avalon
nguồn

1

Chương 5 của khóa học của Hugo Larochelle về học máy ( video ) là phần giới thiệu tốt nhất mà tôi tìm thấy cho đến nay.

Đạo hàm của hàm mất không xuất phát trong các bài giảng này nhưng không khó để làm điều đó (tôi có thể đăng bản quét các tính toán của mình nếu cần, nhưng nó thực sự không khó lắm). Tôi vẫn đang tìm kiếm một cuốn sách giáo khoa tốt về chủ đề này nhưng chủ yếu chỉ có các bài viết. Có một cái nhìn tổng quan về các bài viết trong chương 20 của cuốn sách Deep Learning Book của Bengio .

— jakab922
nguồn