Làm thế nào đúng là slide này về học tập sâu tuyên bố rằng tất cả các cải tiến từ những năm 1980 chỉ là do nhiều dữ liệu hơn và máy tính nhanh hơn nhiều?

Tôi đã nghe một cuộc nói chuyện và thấy slide này:

Nó đúng như thế nào?

Tôi đang duyệt AI StackExchange và gặp một câu hỏi rất giống nhau: Điều gì phân biệt giữa Deep Deep Learning với các mạng thần kinh khác?

Vì AI StackExchange sẽ đóng vào ngày mai (một lần nữa), tôi sẽ sao chép hai câu trả lời hàng đầu tại đây (đóng góp của người dùng được cấp phép theo cc by-sa 3.0 với yêu cầu ghi công):

Tác giả: mommi84less

Hai bài báo được trích dẫn tốt năm 2006 đã mang lại hứng thú nghiên cứu cho việc học sâu. Trong "Thuật toán học nhanh cho mạng lưới niềm tin sâu sắc" , các tác giả định nghĩa một mạng lưới niềm tin sâu sắc là:

[...] Mạng lưới niềm tin được kết nối dày đặc có nhiều lớp ẩn.

Chúng tôi tìm thấy gần như cùng một mô tả cho các mạng sâu trong " Lớp tham lam - Đào tạo khôn ngoan về mạng sâu" :

Mạng lưới thần kinh đa lớp sâu có nhiều cấp độ phi tuyến tính [...]

Sau đó, trong tài liệu khảo sát "Học đại diện: Đánh giá và quan điểm mới" , học sâu được sử dụng để bao gồm tất cả các kỹ thuật (xem thêm bài nói chuyện này ) và được định nghĩa là:

[...] Xây dựng nhiều cấp độ đại diện hoặc tìm hiểu hệ thống phân cấp các tính năng.

Do đó, tính từ "sâu" được các tác giả ở trên sử dụng để làm nổi bật việc sử dụng nhiều lớp ẩn phi tuyến tính .

Tác giả: lejlot

Chỉ cần thêm vào câu trả lời @ mommi84.

Học sâu không giới hạn trong các mạng lưới thần kinh. Đây là khái niệm rộng hơn so với chỉ các DBN của Hinton, v.v. Học sâu là về

xây dựng nhiều cấp độ đại diện hoặc học một hệ thống phân cấp các tính năng.

Vì vậy, nó là một tên cho các thuật toán học đại diện phân cấp . Có các mô hình sâu dựa trên Mô hình Markov ẩn, Trường ngẫu nhiên có điều kiện, Máy vectơ hỗ trợ, v.v. Điểm chung duy nhất là, thay vì kỹ thuật tính năng (phổ biến trong thập niên 90) , nơi các nhà nghiên cứu đang cố gắng tạo ra bộ tính năng, đó là tốt nhất để giải quyết một số vấn đề phân loại - những máy này có thể giải quyết được đại diện từ dữ liệu thô. Cụ thể - áp dụng cho nhận dạng hình ảnh (hình ảnh thô), chúng tạo ra biểu diễn đa cấp bao gồm pixel, sau đó là đường nét, sau đó là các đặc điểm khuôn mặt (nếu chúng ta đang làm việc với khuôn mặt) như mũi, mắt và cuối cùng - khuôn mặt tổng quát. Nếu được áp dụng cho Xử lý ngôn ngữ tự nhiên - họ xây dựng mô hình ngôn ngữ, kết nối các từ thành khối, khối thành câu, v.v.

Một slide thú vị khác:

nguồn

Dropout, từ Hinton năm 2006, được cho là sự cải thiện lớn nhất trong học tập sâu trong 10 năm qua, bởi vì nó làm giảm rất nhiều tình trạng thừa.

Đây chắc chắn là một câu hỏi sẽ gây tranh cãi.

Khi mạng lưới thần kinh được sử dụng trong học tập sâu, chúng thường được đào tạo theo những cách không được sử dụng trong những năm 1980. Trong các chiến lược cụ thể, ngăn chặn các lớp riêng lẻ của mạng thần kinh để nhận ra các tính năng ở các cấp độ khác nhau được khẳng định để giúp đào tạo các mạng có nhiều lớp dễ dàng hơn. Đó chắc chắn là một sự phát triển mới kể từ những năm 1980.

Chìa khóa là từ "sâu" trong học tập sâu. Ai đó (quên ref) trong những năm 80 đã chứng minh rằng tất cả các chức năng phi tuyến tính có thể được xấp xỉ bằng một đơn mạng nơ ron lớp với, tất nhiên, một số đủ lớn của các đơn vị ẩn. Tôi nghĩ rằng kết quả này có lẽ không khuyến khích mọi người tìm kiếm mạng lưới sâu hơn trong thời đại trước đó.

Nhưng độ sâu của mạng là những gì được chứng minh là yếu tố quan trọng trong biểu diễn phân cấp, thúc đẩy sự thành công của nhiều ứng dụng ngày nay.

Không chính xác, ANN bắt đầu trong những năm 50. Kiểm tra một trong những ngôi sao nhạc rock ML của Yann LeCun để có phần giới thiệu chân thực và toàn diện. http://www.cs.nyu.edu/~yann/talks/lecun-ranzato-icml2013.pdf