Tại sao các mạng lưới niềm tin sâu sắc (DBN) hiếm khi được sử dụng?

Tôi đã đọc cuốn sách này về học tập sâu của Ian và Aron. Trong phần mô tả về DBN, họ nói rằng DBN đã không còn được ưa chuộng và hiếm khi được sử dụng.

Các mạng lưới niềm tin sâu sắc đã chứng minh rằng các kiến trúc sâu có thể thành công, bằng cách vượt trội hơn các máy vectơ hỗ trợ hạt nhân trên bộ dữ liệu MNIST (Hinton et al., 2006). Ngày nay, các mạng lưới niềm tin sâu sắc hầu như không được ưa chuộng và hiếm khi được sử dụng, thậm chí so với các thuật toán học tập không được giám sát hoặc khái quát khác, nhưng chúng vẫn được công nhận xứng đáng cho vai trò quan trọng của chúng trong lịch sử học tập sâu.

Tôi không hiểu tại sao.

machine-learning deep-learning deep-belief-networks

— asdfkjasdfjk
nguồn

Đây dường như là một câu hỏi rất chủ quan. Phản hồi đầu tiên (hoàn toàn không chính thức) của tôi là các tác giả đã viết đoạn văn này vài năm trước và quên cập nhật nó ... Biểu đồ Google Xu hướng cho thấy một đỉnh cao rõ ràng vào khoảng năm 2004-2005 nhưng dường như rõ ràng đã đạt được một số luồng cuối cùng vài năm (2014 trở đi). Học sâu, một siêu sao của DBN là "tất cả cơn thịnh nộ" ngay bây giờ tôi sẽ nói. (Ngay cả kỹ sư cơ sở hạ tầng máy chủ của chúng tôi tại nơi làm việc đã hỏi tôi vào một ngày khác nếu chúng tôi thực hiện "khai thác sâu" ...)

— usεr11852

Hãy nhớ rằng backpropagation được sử dụng để đi kèm với một vấn đề lớn; độ dốc biến mất; Tôi nghĩ lý do chính cho những gì mà mạng lưới niềm tin sâu sắc hiếm khi được sử dụng là do truyền ngược được sử dụng với RELU (Đơn vị tuyến tính chỉnh lưu) giải quyết vấn đề độ dốc biến mất và nó không còn là vấn đề nữa và bạn không cần phải thực hiện DBN.

Lý do thứ hai là bởi vì mặc dù bạn có thể giải quyết vấn đề tương tự bằng cách sử dụng các cách tiếp cận tương tự, các kiến trúc mạng sâu lớn trở nên phức tạp hơn để đào tạo với các mạng lưới niềm tin sâu sắc. Sử dụng backpropagation với RELU bạn có thể luyện tập trong một lần bắn.

— mavi
nguồn