Các trường hợp sử dụng hiện đại của các máy Boltzmann bị hạn chế (RBM)?

Bối cảnh: Rất nhiều nghiên cứu hiện đại trong 4 năm qua (bài alexnet ) dường như đã tránh xa việc sử dụng sơ bộ tổng quát cho các mạng lưới thần kinh để đạt được kết quả phân loại hiện đại.

Ví dụ: các kết quả hàng đầu cho mnist ở đây chỉ bao gồm 2 bài viết của top 50 dường như đang sử dụng các mô hình thế hệ, cả hai đều là RBM. 48 bài báo chiến thắng khác là về các kiến ​​trúc chuyển tiếp phân biệt đối xử khác nhau với nhiều nỗ lực hướng tới việc tìm kiếm các khởi tạo trọng lượng / tiểu thuyết tốt hơn và khác biệt so với sigmoid được sử dụng trong RBM và trong nhiều mạng thần kinh cũ.

Câu hỏi: Có bất kỳ lý do hiện đại nào để sử dụng Máy Boltzmann bị hạn chế nữa không?

Nếu không, có một sửa đổi thực tế nào mà người ta có thể áp dụng cho các kiến ​​trúc chuyển tiếp nguồn cấp dữ liệu này để làm cho bất kỳ lớp nào của chúng có tính tổng quát không?

Động lực: Tôi hỏi bởi vì một số mô hình tôi thấy có sẵn, thường là các biến thể trên RBM, không nhất thiết phải có các đối tác phân biệt đối xử tương tự rõ ràng với các lớp / mô hình chung này và ngược lại. Ví dụ:

• mcRBM

• ssRBM

• CRBM (mặc dù người ta có thể lập luận rằng CNN sử dụng kiến ​​trúc chuyển tiếp nguồn cấp dữ liệu là kiến trúc tương tự phân biệt đối xử)

Ngoài ra, đây cũng rõ ràng là alexnet trước, từ năm 2010, 2011 và 2009 một cách trân trọng.

Đây là một câu hỏi cũ, nhưng về cơ bản nó hỏi về 'thực tiễn tốt nhất', thay vì những gì thực sự có thể về mặt kỹ thuật (nghĩa là không cần quá nhiều trọng tâm nghiên cứu), các thực tiễn tốt nhất hiện nay là một cái gì đó như:

• RBM thường không được sử dụng hiện nay
• mô hình tuyến tính (hồi quy tuyến tính, hồi quy logistic) được sử dụng khi có thể
• mặt khác, các mạng chuyển tiếp sâu với các lớp như các lớp được kết nối đầy đủ, các lớp chập và ném vào một số loại lớp chính quy, chẳng hạn như bỏ học và chuẩn hóa hàng loạt gần đây
• tất nhiên với các lớp kích hoạt ở giữa, điển hình là ReLU, nhưng tanh và sigmoid cũng được sử dụng
• và có lẽ một số nhóm tối đa (không phải luôn luôn: nhóm trung bình và những người khác cũng được sử dụng)

Đối với tập quán thế hệ, các kỹ thuật phổ biến bao gồm:

• GAN và hàng trăm biến thể của nó, http://www.cs.toronto.edu/~dtarlow/pose14/talks/goodfellow.pdf
• bộ mã hóa tự động, nhưng gần đây chúng có xu hướng được thay thế bởi:
  • bộ mã hóa tự động đa dạng, VAE, https://arxiv.org/abs/1312.6114
  • CNN thế hệ, wavenet: https://deepmind.com/blog/wavenet-generative-model-raw-audio/
• RNN, ví dụ seq2seq https://arxiv.org/pdf/1409.3215v3.pdf

Gần đây tôi đã tìm thấy bài báo này về "Máy đối nghịch được mã hóa Boltzmann" tích hợp RBM với CNN như một mô hình tổng quát.

Các tác giả cho thấy nó "tốt hơn" về mặt toán học theo một số cách, và hiển thị một số ví dụ về đồ chơi trong đó BEAM dường như có khả năng học chính xác hơn việc phân phối dữ liệu so với các mô hình GAN khác.

Điểm chuẩn "thế giới thực" của các gương mặt CelebA kém ấn tượng hơn nhiều - không rõ BEAM làm tốt hơn hay thậm chí tốt như các GAN phổ biến khác. Tuy nhiên, việc sử dụng RBM trong cài đặt này chắc chắn rất thú vị.