Làm thế nào để bắt đầu với mạng lưới thần kinh

Tôi hoàn toàn mới đối với các mạng lưới thần kinh nhưng rất quan tâm đến việc hiểu chúng. Tuy nhiên, không dễ dàng gì để bắt đầu.
Bất cứ ai có thể giới thiệu một cuốn sách tốt hoặc bất kỳ loại tài nguyên khác? Có phải đọc?
Tôi biết ơn vì bất kỳ loại tiền boa nào.

Mạng lưới thần kinh đã xuất hiện được một thời gian và chúng đã thay đổi đáng kể qua nhiều năm. Nếu bạn chỉ tìm kiếm trên web, bạn có thể sẽ có ấn tượng rằng "mạng lưới thần kinh" có nghĩa là mạng thức ăn nhiều lớp được đào tạo với truyền bá ngược. Hoặc, bạn có thể bắt gặp bất kỳ mô hình nào trong số hàng chục mô hình hiếm khi được sử dụng, được đặt tên kỳ lạ và kết luận rằng mạng lưới thần kinh giống như một sở thú hơn là một dự án nghiên cứu. Hoặc đó là một sự mới lạ. Hoặc là...

Tôi có thể tiếp tục. Nếu bạn muốn một lời giải thích rõ ràng, tôi sẽ lắng nghe Geoffrey Hinton . Anh ấy đã ở đây mãi mãi và (do đó?) Thực hiện một công việc tuyệt vời dệt tất cả các mô hình khác nhau mà anh ấy đã làm thành một câu chuyện lịch sử gắn kết, trực quan (và đôi khi là lý thuyết). Trên trang chủ của anh ấy, có các liên kết đến các bài giảng của Google Tech Talks và Videolectures.net mà anh ấy đã thực hiện (trên RBM và Deep Learning , trong số những người khác).

Từ cách tôi nhìn thấy, đây là một bản đồ đường lịch sử và sư phạm để hiểu các mạng lưới thần kinh, từ khi thành lập đến hiện đại:

• Perceptionron
  • Dễ hiểu
  • Bị hạn chế
• Nhiều lớp, được đào tạo bằng cách chống lưng
  • Nhiều tài nguyên để học
  • Đừng thường làm tốt như các SVM
• Máy Boltzmann
  • Cách suy nghĩ thú vị về sự ổn định của một mạng tái phát về mặt "năng lượng"
  • Nhìn vào các mạng Hopfield nếu bạn muốn một ví dụ dễ hiểu (nhưng không thực tế) về các mạng tái phát có "năng lượng".
  • Về mặt lý thuyết thú vị, vô dụng trong thực tế (đào tạo về tốc độ giống như trôi dạt lục địa)
• Máy Boltzmann bị hạn chế
  • Hữu ích!
  • Xây dựng lý thuyết về máy Boltzmann
  • Một số giới thiệu tốt trên web
• Mạng lưới niềm tin sâu sắc
  • Theo như tôi có thể nói, đây là một lớp RBM nhiều lớp để thực hiện việc học bán giám sát.
  • Một số tài nguyên

Tôi đặc biệt khuyên bạn nên xem các bài giảng này và sử dụng nó làm tài liệu đọc . Những bài giảng này nói về học máy nói chung bởi Andrew Ng nói về các mạng lưới thần kinh và cố gắng hết sức để làm cho nó có thể truy cập được cho người mới bắt đầu.

Đây là, theo tôi, những cuốn sách rất tốt.

• R. Rojas: Mạng lưới thần kinh
• CM Giám mục: Mạng lưới thần kinh để nhận dạng mẫu

Các cuốn sách có một số điểm tương đồng: Cả hai đều dài khoảng 500 trang và chúng khá cũ, từ năm 1995. Tuy nhiên, chúng vẫn rất hữu ích. Cả hai cuốn sách bắt đầu từ đầu, bằng cách giải thích các mạng lưới thần kinh là gì. Họ cung cấp giải thích rõ ràng, ví dụ tốt và đồ thị tốt để hỗ trợ sự hiểu biết. Họ giải thích rất chi tiết về các vấn đề đào tạo mạng lưới thần kinh, dưới nhiều hình dạng và hình thức của họ, và những gì họ có thể và không thể làm. Hai cuốn sách bổ sung cho nhau rất độc đáo, vì những gì người ta không thể tìm ra với một cuốn sách, một cuốn có xu hướng tìm thấy trong cuốn sách kia.

Rojas có một phần, mà tôi đặc biệt thích, về việc thực hiện lan truyền ngược qua nhiều lớp ở dạng ma trận. Nó cũng có một phần hay về logic mờ, và một phần về lý thuyết phức tạp. Nhưng sau đó, Giám mục có rất nhiều phần hay khác.

Rojas, tôi sẽ nói, dễ tiếp cận nhất. Giám mục là toán học hơn và có lẽ tinh vi hơn. Trong cả hai cuốn sách, toán học chủ yếu là đại số tuyến tính và tính toán các hàm của nhiều biến số (đạo hàm riêng và vv). Nếu không có bất kỳ kiến ​​thức nào về những chủ đề này, có lẽ bạn sẽ không thể tìm thấy một trong những cuốn sách này.

Tôi khuyên bạn nên đọc Rojas trước.

Cả hai cuốn sách, rõ ràng, có rất nhiều điều để nói về thuật toán, nhưng không nói nhiều về việc triển khai cụ thể trong mã.

Đối với tôi, những cuốn sách này cung cấp nền tảng, làm cho một khóa học trực tuyến, (chẳng hạn như Hinton's, trên Coursera) có thể hiểu được. Các cuốn sách cũng bao gồm nhiều nền tảng hơn, và chi tiết hơn nhiều, có thể được thực hiện trực tuyến.

Tôi hy vọng điều này có ích, và rất vui được trả lời bất kỳ câu hỏi nào về những cuốn sách.

Như những người khác đã chỉ ra, có rất nhiều tài nguyên (tốt) trực tuyến và cá nhân tôi đã thực hiện một số trong số đó:

• Giới thiệu của Ng đến lớp ML trên Coursera
• Lớp mạng nơ-ron của Hinton trên Coursera
• Hướng dẫn học sâu của Ng
• đọc các chương liên quan trong Xử lý phân tán song song ban đầu

Tôi muốn thu hút sự chú ý đến thực tế là các giải trình này chủ yếu tuân theo cách xử lý cổ điển trong đó các lớp (tổng và phi tuyến tính với nhau) là các đơn vị cơ bản. Phương pháp điều trị phổ biến và linh hoạt hơn được triển khai trong hầu hết các thư viện như Torch-nn và tenorflow, hiện sử dụng biểu đồ tính toán với tính năng tự động phân biệt để đạt được tính mô đun hóa cao. Về mặt khái niệm nó đơn giản và tự do hơn. Tôi rất muốn giới thiệu khóa học mở Stanford CS231n tuyệt vời cho điều trị này.

Đối với một điều trị nghiêm ngặt, lý thuyết học tập, bạn có thể muốn tham khảo Mạng lưới thần kinh của Anthony và Bartlett.

Nếu bạn muốn điều trị theo quan điểm thống kê hơn, hãy xem "Nhận dạng mẫu và mạng nơ ron" của Brian Ripley. Cuốn sách này không phải là giới thiệu và giả định trước một số nền tảng thống kê.

http://www.stats.ox.ac.uk/~ripley/PRbook/

Tôi đã tạo một ứng dụng web hỗ trợ quá trình học tập của bạn trong lĩnh vực mạng thần kinh.

https://blueneurons.ch/nn

Bạn có thể chơi xung quanh với các cài đặt (kiến trúc, chức năng kích hoạt, cài đặt đào tạo) và quan sát cách các cài đặt ảnh hưởng đến dự đoán. Tất cả các bộ dữ liệu có giá trị cấu hình sẵn có thể được thông qua. Cũng có thể tạo bộ dữ liệu của riêng bạn.

Hướng dẫn và giải thích cho các yếu tố được thực hiện:

Hướng dẫn sử dụng