Tại thời điểm nào chúng ta bắt đầu phân loại các mạng thần kinh đa lớp thành các mạng thần kinh sâu hoặc đặt nó theo một cách khác 'Số lớp tối thiểu trong một mạng lưới thần kinh sâu là gì?'
Câu trả lời:
"Sâu" là một thuật ngữ tiếp thị: do đó bạn có thể sử dụng nó bất cứ khi nào bạn cần để tiếp thị mạng lưới thần kinh nhiều lớp của mình.
"Sâu"
Một trong những mạng lưới thần kinh sâu sớm nhất có ba lớp ẩn được kết nối dày đặc ( Hinton et al. (2006) ).
"Rất sâu"
Năm 2014, mạng lưới VGG "rất sâu" Simonyan et al. (2014) bao gồm 16+ lớp ẩn.
"Cực kỳ sâu sắc"
Năm 2016, các mạng dư "cực kỳ sâu" He et al. (2016) bao gồm 50 đến hơn 1000 lớp ẩn.
Theo tài liệu,
Schmidhuber, J. (2015). "Học sâu trong mạng lưới thần kinh: Tổng quan". Mạng lưới thần kinh. 61: 85 Từ 117. arXiv: 1404.7828 miễn phí để đọc. doi: 10.1016 / j.neunet.2014.09.003.
https://en.wikipedia.org/wiki/Deep_learning
Người ta nói rằng
Không có sự thống nhất chung về ngưỡng phân chia chiều sâu học tập từ học sâu, nhưng hầu hết các nhà nghiên cứu trong lĩnh vực đồng ý rằng học sâu có nhiều lớp phi tuyến (CAP> 2) và Schmidhuber coi CAP> 10 là học rất sâu
Một chuỗi các chuyển đổi từ đầu vào sang đầu ra là Đường dẫn chuyển nhượng tín dụng hoặc CAP. Đối với một mạng nơ ron phản hồi, độ sâu của các CAP, và do đó độ sâu của mạng là số lớp ẩn cộng với một lớp.