Tôi có ấn tượng rằng khi mọi người đề cập đến một mạng lưới 'niềm tin sâu sắc' rằng về cơ bản đây là một mạng lưới thần kinh nhưng rất lớn. Điều này có đúng hay không, một mạng lưới niềm tin sâu sắc cũng ngụ ý rằng thuật toán tự nó là khác nhau (nghĩa là không có mạng nơ ron chuyển tiếp nhưng có lẽ là một cái gì đó có các vòng phản hồi)?
Câu trả lời:
"Mạng nơ-ron" là một thuật ngữ thường được sử dụng để chỉ các mạng thần kinh tiếp theo. Mạng lưới thần kinh sâu là mạng lưới thần kinh cấp tốc với nhiều lớp.
Mạng niềm tin sâu không giống như Mạng lưới thần kinh sâu.
Như bạn đã chỉ ra một mạng lưới niềm tin sâu sắc có các kết nối không mong muốn giữa một số lớp. Điều này có nghĩa là cấu trúc liên kết của DNN và DBN khác nhau theo định nghĩa.
Các lớp không bị ảnh hưởng trong DBN được gọi là Máy Boltzmann bị hạn chế. Các lớp này có thể được đào tạo bằng thuật toán học tập không giám sát (Phân kỳ tương phản) rất nhanh (Đây là một liên kết ! Có chi tiết).
Một số ý kiến khác:
Các giải pháp thu được với các mạng thần kinh sâu hơn tương ứng với các giải pháp hoạt động kém hơn các giải pháp thu được cho các mạng có 1 hoặc 2 lớp ẩn. Khi kiến trúc trở nên sâu hơn, việc có được sự khái quát hóa tốt bằng cách sử dụng Deep NN trở nên khó khăn hơn.
Năm 2006, Hinton phát hiện ra rằng kết quả tốt hơn có thể đạt được trong các kiến trúc sâu hơn khi mỗi lớp (RBM) được đào tạo trước với thuật toán học tập không giám sát (Phân kỳ tương phản). Sau đó, Mạng có thể được đào tạo theo cách được giám sát bằng cách sử dụng backpropagation để "tinh chỉnh" các trọng số.
" Mạng nơ-ron sâu là một mạng nơ-ron nhân tạo, chuyển tiếp có nhiều hơn một lớp đơn vị ẩn giữa đầu vào và đầu ra của nó. Mỗi đơn vị ẩn, , thường sử dụng hàm logistic để ánh xạ tổng đầu vào của nó từ lớp bên dưới , , đến trạng thái vô hướng, mà nó gửi đến lớp ở trên. (Tham khảo (1)) ".
Điều đó nói rằng, như David đã đề cập: " các mạng niềm tin sâu sắc có một kết nối không mong muốn giữa hai lớp trên cùng, giống như trong một RBM ", trái ngược với các mạng thần kinh chuyển tiếp thức ăn tiêu chuẩn. Nói chung, vấn đề chính trong một DNN liên quan đến việc đào tạo nó chắc chắn liên quan nhiều hơn đến một NN một lớp. (Tôi không làm việc về NN, nó vừa mới xảy ra. Tôi đã đọc bài báo gần đây.)
Tham khảo: 1. Mạng lưới thần kinh sâu cho mô hình âm thanh trong nhận dạng giọng nói , bởi Geoffrey Hinton, Li Đặng, Dong Yu, George Dahl, Abdel-rahman Mohamed, Navdeep Jaitly, Andrew Senior, Vincent Vanhoucke, Patrick Nguyen, Tara Sainath ,, và Brian Kingsbury trong Tạp chí xử lý tín hiệu IEEE [82] tháng 11 năm 2012 ( Liên kết đến bài viết gốc trong MSR )
Vui mừng khi thấy ý kiến của Alex ở đây. Tôi đã giải thích cho mọi người rằng DL là một mạng thần kinh điển hình. Không có sự khác biệt trong kế hoạch học tập. Một ANN trước đó được viết bằng c (70s) có tùy chọn để thiết lập nhiều lớp ẩn. Trên thực tế tôi đã thử nghiệm để xác định xem có nhiều lớp ẩn cải thiện độ chính xác hay không. Số lớp không làm cho DL khác với ANN.
Tôi ghét những điều khoản đánh dấu. Bây giờ chúng tôi có rất nhiều chuyên gia DL không biết DL thực sự là ANN. Bởi vì việc đánh dấu là rất tốt và mạnh mẽ, mọi người tin rằng chúng tôi đã tiến bộ rất nhiều trong lĩnh vực Machine Learning. Nhưng, không có gì mới!