Sách giáo khoa về * lý thuyết * của các thuật toán mạng thần kinh / ML?


23

Mỗi sách giáo khoa tôi đã thấy cho đến nay mô tả các thuật toán ML và cách thực hiện chúng.

Có phải cũng có một cuốn sách giáo khoa xây dựng các định lý và bằng chứng cho hành vi của các thuật toán đó không? ví dụ: nói rằng trong các điều kiện , độ dốc gốc sẽ luôn dẫn đến ?A , B , Cx,y,zA,B,C


1
Có một vài gợi ý về câu hỏi của tôi ở đây . Đặc biệt bạn có thể thích cuốn sách mà tôi giới thiệu trong câu trả lời của tôi ở đó.
Jack M

Nhiều sách giáo khoa tối ưu hóa cung cấp bằng chứng hội tụ cho các thuật toán tối ưu hóa. (Chúng ta cần kiểm tra cẩn thận rằng các giả thuyết của các định lý hội tụ này có được thỏa mãn hay không trước khi chúng ta rút ra bất kỳ kết luận chắc chắn nào rằng thuật toán của chúng ta được đảm bảo hội tụ.)
littleO

Câu trả lời:


16

Những nền tảng của Machine Learning , của Mehryar Mohri, Afshin Rostamizadeh và Ameet Talwalkar, là một cuốn sách năm 2012 về lý thuyết học máy.

Hiểu về học máy: Từ lý thuyết đến thuật toán , của Shai Shalev-Shwartz và Shai Ben-David, là một cuốn sách tương tự năm 2014 khá nổi tiếng và nhắm mục tiêu giới thiệu hơn một chút so với Mohri / Rostamizadeh / Talwalkar, nhưng vẫn còn nhiều lý thuyết trong nó Nó có sẵn miễn phí trực tuyến.

Học tập mạng lưới thần kinh: Các nền tảng lý thuyết , của Martin Anthony và Peter Bartlett, là một cuốn sách năm 1999 về lý thuyết ML được coi là về mạng lưới thần kinh, nhưng (theo ấn tượng của tôi không đọc nó) chủ yếu là về lý thuyết ML nói chung.

Ba cuốn sách này chủ yếu lấy quan điểm chủ yếu của lý thuyết học thống kê. Ngoài ra còn có một quan điểm thú vị được gọi là lý thuyết học tính toán , được truyền cảm hứng nhiều hơn bởi lý thuyết khoa học máy tính. Tôi nghĩ rằng cuốn sách giới thiệu tiêu chuẩn trong lĩnh vực này là Giới thiệu về Lý thuyết học tập tính toán , một cuốn sách năm 1994 của Michael Kearns và Umesh Vazirani.

Một cuốn sách xuất sắc miễn phí và được đề xuất miễn phí khác là Trevor Hastie, Robert Tibshirani, và ấn bản thứ hai năm 2009 của Jerome Friedman về The Elements of Statistics Learning . Có lẽ nó ít lý thuyết hơn những cái khác, và nhiều hơn từ quan điểm của nhà thống kê so với người học máy, nhưng vẫn có nhiều hứng thú.

Ngoài ra, nếu bạn quan tâm đặc biệt về độ dốc gốc, tham chiếu tiêu chuẩn là Tối ưu hóa lồi của Stephen Boyd và Lieven Vandenberghe. Cuốn sách năm 2004 này là miễn phí có sẵn trực tuyến.

Không có cuốn sách nào trong số này chứa đựng nhiều về lý thuyết hiện đại về các mạng sâu, nếu đó là điều bạn quan tâm. (Ví dụ, hầu hết các lý thuyết tối ưu hóa sẽ là về các trường hợp lồi, mà các mạng sâu quyết định là không.) Đó là vì lý thuyết này rất mới; hầu hết các kết quả chỉ đến trong vài năm qua, và nó vẫn còn rất nhiều điều được tìm ra. Nhưng, như một tổng quan về sự hiểu biết cơ bản về lĩnh vực này cho đến nay, bất kỳ ai trong số họ sẽ giúp bạn hiểu rõ về các công việc được thực hiện (ngoại trừ Kearns / Vazirani, tập trung vào các khía cạnh phân tích khác nhau mà tôi ' m không chắc chắn đã được áp dụng thành công vào các mạng sâu - chưa).


Hiểu về học máy có sẵn trực tuyến từ một trang web của tác giả.
Jakub Bartczuk

2

Học máy: Một quan điểm xác suất của Kevin P. Murphy giải thích rất nhiều lý thuyết từ góc độ Bayes (Tôi chỉ sử dụng nó cho hồi quy logistic, nhưng tôi nghĩ nó khá tốt). Toàn bộ cuốn sách có sẵn trực tuyến dưới dạng PDF bằng cách tìm kiếm trên Google.


2
  • Deep Learning (loạt tính toán thích ứng và máy học) . Điều này được viết bởi Ian Goodfellow, Yoshua Bengio, Aaron Courville . Theo thỏa thuận của tác giả với MIT Press, bạn có thể đọc bản sao miễn phí hợp pháp có sẵn trên trình duyệt trong trang web này. www.deeplearningbook.org Điều này tốt cho toán học thuần túy và lý thuyết về mạng lưới thần kinh và các nhánh phụ khác nhau của nó.

Thêm vào đó,

  • Các yếu tố của học thống kê: Khai thác dữ liệu, suy luận và dự đoán cũng là một cuốn sách tốt để xây dựng nền tảng lý thuyết và toán học trong học máy truyền thống. Điều này được viết bởi Trevor Hastie, Robert Tibshirani và Jerome Friedman và có sẵn miễn phí bởi các tác giả tại https://web.stanford.edu/~hastie/ElemStatLearn/

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.