Có thực sự thiếu lý thuyết cơ bản về học tập sâu?

Tôi đã nghe nhiều lần rằng một trong những vấn đề cơ bản / mở của học sâu là thiếu "lý thuyết chung" về nó bởi vì thực sự chúng ta không biết tại sao học sâu lại hoạt động tốt như vậy. Ngay cả trang Wikipedia về học tập sâu cũng có ý kiến ​​tương tự . Là những tuyên bố như vậy đáng tin cậy và đại diện của nhà nước của lĩnh vực?

Có một bài báo tên là Tại sao Deep Learning hoạt động tốt như vậy? .

"Tuy nhiên, vẫn chưa hiểu đầy đủ lý do tại sao học sâu hoạt động tốt như vậy. Ngược lại với thuật toán GOFAI (thuật ngữ AI cổ điển tốt) được chế tạo thủ công và hiểu đầy đủ về mặt phân tích, nhiều thuật toán sử dụng mạng nơ ron nhân tạo chỉ được hiểu tại một mức độ heuristic, trong đó chúng ta thực nghiệm biết rằng một số giao thức đào tạo sử dụng các bộ dữ liệu lớn sẽ mang lại hiệu quả tuyệt vời. Điều này gợi nhớ đến tình huống với bộ não của con người: chúng ta biết rằng nếu chúng ta đào tạo một đứa trẻ theo một chương trình giảng dạy nhất định, cô ấy sẽ học được một số kỹ năng - nhưng chúng ta thiếu hiểu biết sâu sắc về cách bộ não của cô ấy hoàn thành việc này. "

Đây là rất nhiều trường hợp. Các mô hình học tập sâu ngay cả những mô hình nông như bộ tự động xếp chồng và mạng lưới thần kinh không được hiểu đầy đủ. Có những nỗ lực để hiểu những gì đang xảy ra với quá trình tối ưu hóa cho một hàm chuyên sâu biến phức tạp như vậy. Nhưng, đây là một nhiệm vụ khó khăn.

Một cách mà các nhà nghiên cứu đang sử dụng để khám phá cách học sâu hoạt động bằng cách sử dụng các mô hình thế hệ. Đầu tiên chúng tôi đào tạo một thuật toán học tập và chấp nhận nó một cách có hệ thống trong khi yêu cầu nó tạo ra các ví dụ. Bằng cách quan sát các ví dụ được tạo ra, chúng ta sẽ có thể suy ra những gì đang xảy ra trong thuật toán ở mức độ quan trọng hơn. Điều này rất giống như sử dụng các chất ức chế trong khoa học thần kinh để hiểu các thành phần khác nhau của não được sử dụng để làm gì. Ví dụ, chúng ta biết rằng vỏ thị giác là nơi nó ở bởi vì nếu chúng ta làm hỏng nó, bạn sẽ bị mù.

Có lẽ nó phụ thuộc vào ý nghĩa của "lý thuyết cơ bản", nhưng không thiếu lý thuyết định lượng nghiêm ngặt trong học tập sâu, một số trong đó rất chung chung, mặc dù tuyên bố ngược lại.

Một ví dụ điển hình là công việc xoay quanh các phương pháp dựa trên năng lượng để học tập. Xem ví dụ: công trình của Neal & Hinton về suy luận đa dạng và năng lượng tự do: http://www.cs.toronto.edu/~fritz/absps/emk.pdf

Ngoài ra hướng dẫn này để giảm thiểu năng lượng như là một "khung lý thuyết chung cho nhiều mô hình học tập" của Yann LeCun và các đồng nghiệp: http://yann.lecun.com/exdb/publis/pdf/lecun-06.pdf

Và một khung chung cho các mô hình dựa trên năng lượng của Scello và Bengio: https://arxiv.org/pdf/1602.05179.pdf

Ngoài ra còn có công trình trước đây của Hinton & Sejnowski cho thấy một cách phân tích rằng một mạng cụ thể lấy cảm hứng từ Hopfield + thuật toán học tập không giám sát có thể xấp xỉ suy luận tối ưu của Bayes: https://epage.cnl.salk.edu/PDFs/Optimal%20Perceptual%20Inference -646.pdf

Cũng có nhiều bài viết liên quan đến việc học sâu với khoa học thần kinh lý thuyết, chẳng hạn như sau đây, cho thấy những tác động của việc truyền ngược có thể đạt được trong các kiến ​​trúc thần kinh hợp lý về mặt sinh học: https://arxiv.org/pdf/1411.0247.pdf

Tất nhiên có nhiều câu hỏi mở và không có lý thuyết thống nhất duy nhất, không kiểm chứng, nhưng điều tương tự có thể được nói về hầu hết mọi lĩnh vực.

Trích dẫn wikipedia của bạn là nghi vấn bởi vì học tập sâu được phát triển tốt. Trong thực tế, có một [citation needed]trên trang Wikipedia.

Hãy xem https://github.com/terryum/awgie-deep-learning- con . Có khoảng 100 bài viết trong liên kết, bạn có còn nghĩ rằng học sâu thiếu "lý thuyết chung" không?

Đúng. Học sâu là khó hiểu vì đây là một mô hình rất phức tạp. Nhưng điều đó không có nghĩa là chúng ta không có lý thuyết.

Có thể limegói và đó là giấy: "Tại sao tôi nên tin tưởng bạn?": Giải thích Dự đoán của bất kỳ phân loại nào sẽ giúp bạn. Bài viết gợi ý rằng chúng ta sẽ có thể ước chừng một mô hình phức tạp (bao gồm học sâu) cục bộ với một mô hình đơn giản hơn nhiều.