Các điều kiện tiên quyết toán học cho một nhà nghiên cứu AI là gì?

Các điều kiện tiên quyết toán học để hiểu phần cốt lõi của các thuật toán trong trí tuệ nhân tạo và phát triển thuật toán riêng là gì?

Xin vui lòng, giới thiệu cho tôi những cuốn sách cụ thể.

Quỹ toán tốt

Bắt đầu bằng cách đảm bảo năng lực đầy đủ với đại số trung gian và một số nền tảng khác của phép tính và toán học rời rạc, bao gồm thuật ngữ và các khái niệm cơ bản trong các chủ đề này.

• Chuỗi vô tận
• Bằng chứng logic
• Đại số tuyến tính và ma trận
• Hình học phân tích, đặc biệt là sự phân biệt giữa cực trị địa phương và toàn cầu (cực tiểu và cực đại), điểm yên ngựa và các điểm uốn
• Đặt lý thuyết
• Xác suất
• Số liệu thống kê

Nền tảng của điều khiển học

Norbert Wiener, Cybernetics, 1948, MIT Press, chứa các chuỗi thời gian và các khái niệm phản hồi với sự rõ ràng và mệnh lệnh không thấy trong các tác phẩm tiếp theo; nó cũng chứa phần giới thiệu về lý thuyết thông tin bắt đầu bằng công thức log ₂ của Shannon để xác định lượng thông tin trong một chút. Điều này rất quan trọng để hiểu sự mở rộng của khái niệm entropy thông tin.

Giải tích

Tìm một cuốn sách tính toán tốt và đảm bảo bạn có sự rõ ràng xung quanh lý thuyết chính và ứng dụng trong các danh mục này.

• Chuỗi thời gian
• Chuỗi vô tận
• Hội tụ - Mạng nhân tạo lý tưởng hội tụ đến mức tối ưu trong quá trình học.
• Sự khác biệt một phần
• Ma trận Jacobian và Hessian
• Toán đa biến
• Vùng biên
• Toán rời rạc

Phần lớn trong số đó là ở Giải tích , Strang, MIT, Wellesley-Cambridge Press . Mặc dù PDF có sẵn trên web, nhưng nó là cơ bản và không đặc biệt sâu. Một trong thư viện của phòng thí nghiệm của chúng tôi là Trung cấp tính toán , Hurley, Holt Rinehart & Winston, 1980 . Nó là toàn diện và trong một số cách được đặt ra tốt hơn so với cái tôi có trong thư viện nhà của tôi, mà Princeton sử dụng cho sinh viên năm hai.

Đảm bảo bạn cảm thấy thoải mái khi làm việc trong không gian ngoài ℝ ² (ngoài 2D). Chẳng hạn, RNN thường ở trong các không gian như ℝ ⁴ thorugh ℝ ⁷ vì kích thước ngang, dọc, chiều sâu pixel và kích thước khung phim.

Toán hữu hạn

Thật không may là không có sự kết hợp của bất kỳ ba cuốn sách tôi có thể nghĩ rằng có tất cả những cuốn sách này.

• Biểu đồ được định hướng - Tìm hiểu TRƯỚC cây hoặc mạch (lưới nhân tạo) này bởi vì đây là địa hình thay thế của tất cả các cấu hình đó
• Cây biểu tượng trừu tượng (ASTs)
• Lý thuyết tập nâng cao
• Cây quyết định
• Chuỗi Markov
• Lý thuyết hỗn loạn (đặc biệt là sự khác biệt giữa ngẫu nhiên và giả ngẫu nhiên)
• Lý thuyết trò chơi bắt đầu với Von Neumann và Morgenstern của Lý thuyết trò chơi , công tác chuyên đề trong lĩnh vực mà
• Hội tụ trong các hệ thống rời rạc, đặc biệt là ứng dụng lý thuyết để báo hiệu bão hòa về số nguyên, điểm cố định hoặc số học dấu phẩy động
• Các phương tiện thống kê, độ lệch, tương quan và các khái niệm tiến bộ hơn về entropy, entropy tương đối và entropy chéo
• Phù hợp đường cong
• Kết luận
• Xác suất đặc biệt là Định lý Bayes
• Lý thuyết thuật toán (các định lý không chắc chắn của Gôdel và tính hoàn chỉnh của Turing)

Hóa học và Thần kinh

Nó là tốt để nhớ lại cân bằng hóa học từ hóa học trung học. Cân bằng đóng vai trò quan trọng trong các thiết kế AI tinh vi hơn. Hiểu mối quan hệ cộng sinh giữa các mô hình thế hệ và phân biệt đối xử trong GAN sẽ giúp học sinh hiểu thêm về điều này.

Các chức năng kiểm soát trong các hệ thống sinh học vẫn là nguồn chứng minh chính cho khái niệm trong nghiên cứu trí tuệ nhân tạo. Khi các nhà nghiên cứu trở nên sáng tạo hơn trong việc tưởng tượng các hình thức thích ứng mà không trực tiếp bắt chước một số khía cạnh của sinh học (vẫn còn một khoảng cách khi viết bài này), sự sáng tạo có thể đóng vai trò lớn hơn trong công thức mục tiêu nghiên cứu AI.

Mặc dù vậy, AI có thể sẽ vẫn là một lĩnh vực chủ yếu liên ngành.

Tôi làm việc như một giáo sư, và gần đây đã thiết kế các yêu cầu toán học cho một chuyên ngành AI mới, tham khảo ý kiến ​​với nhiều đồng nghiệp của tôi tại các tổ chức khác.

Các câu trả lời khác, đặc biệt là @ FauChrisian thực hiện tốt việc lập danh mục tất cả các chủ đề cụ thể có thể hữu ích ở đâu đó trong AI, nhưng không phải tất cả chúng đều hữu ích như nhau để hiểu các chủ đề cốt lõi. Trong các trường hợp khác, hiểu chủ đề về cơ bản giống như hiểu các thuật toán AI liên quan, vì vậy chúng ta thường chỉ dạy chúng cùng nhau thay vì giả định kiến ​​thức tiên quyết. Chẳng hạn, quy trình Quyết định của Markov không khó dạy cho người đã biết những điều cơ bản về lý thuyết đồ thị và xác suất, vì vậy chúng tôi thường chỉ đề cập đến chúng khi chúng tôi dạy học tăng cường trong một khóa học về AI, chứ không phải là một chủ đề riêng biệt trong toán học khóa học.

Các yêu cầu toán học mà chúng tôi giải quyết trông giống như:

• Một khóa học một hoặc hai học kỳ trong toán học rời rạc. Điều này là nhiều để thiết lập sự thoải mái với sự chặt chẽ bằng chứng và toán học như với bất kỳ chủ đề cụ thể trong khu vực. Nó chủ yếu chỉ là kiến ​​thức "nền tảng", nhưng bit của nó hóa ra rất hữu ích. Thoải mái với tổng kết vô hạn, những điều cơ bản của đồ thị, tổ hợp và phân tích tiệm cận có lẽ là những phần được áp dụng trực tiếp nhất. Tôi thích cuốn sách của Susanna Epp .

  • Một khóa học một hoặc hai học kỳ về đại số tuyến tính, rất hữu ích trong nhiều chủ đề khác nhau trong AI, đặc biệt là học máy và khai thác dữ liệu. Lay & Lay là một cuốn sách ổn, nhưng có lẽ không phải là tốt nhất tuyệt đối. Shilov là một lời khuyên từ Ian Goodfellow và những người khác, nhưng tôi đã không tự mình thử nó.

  • Một khóa học về xác suất, và có thể là một khóa học hiện đại về thống kê (tức là với trọng tâm Bayes). Một khóa học cũ hơn về thống kê, hoặc một mục tiêu các nhà khoa học xã hội, mặc dù không hữu ích lắm. Các đồng nghiệp thống kê của tôi đang sử dụng Lock5 ngay bây giờ và có những trải nghiệm tốt với nó.

  • Ít nhất là phép tính vi phân và tích phân, và tốt nhất là các đạo hàm một phần trong phép tính véc tơ, nhưng có lẽ là toàn bộ khóa học. Điều này rất hữu ích trong việc tối ưu hóa, học máy và các phương pháp tiếp cận dựa trên kinh tế đối với AI. Stewart là sách giáo khoa phổ biến nhất. Nó toàn diện và có thể được sử dụng cho cả ba khóa học, nhưng giải thích không phải lúc nào cũng tốt nhất. Tôi vẫn muốn giới thiệu nó mặc dù.

Đó là những chủ đề cốt lõi. Nếu bạn không còn có một nền tảng truyền thống trong chương trình, sau đó một khóa học trong lý thuyết đồ thị và những điều cơ bản của sự phức tạp tiệm cận hoặc thiết kế thuật toán và phân tích có thể là bổ sung tốt. Thông thường, AI đến từ một nền tảng khoa học máy tính tiêu chuẩn, bao gồm tất cả những điều đó rất tốt.

Đối với các thuật toán đơn giản như Gradient Descent có liên quan, bạn cần nắm vững các dẫn xuất một phần. Đặc biệt nếu bạn muốn thực hiện các mạng lưới thần kinh. Ngoài ra hầu hết các thuật toán được véc tơ để cải thiện tốc độ tính toán và vì vậy bạn cần phải thoải mái với toán học ma trận. Điều này liên quan đến việc thực sự nhanh chóng và thoải mái với các kích thước của ma trận, kích thước của sản phẩm, nhân ma trận, chuyển vị, v.v. Rất hiếm khi, bạn có thể sử dụng phép tính ma trận để trực tiếp đến các giải pháp tối ưu, vì vậy một vài kết quả từ khu vực này nên làm. Tiếp tục, bạn cần hiểu một số phân tích chức năng. điều này là cần thiết để có được một trực giác về những chức năng kích hoạt như sigmoid và tanh, log đang làm gì. Nắm bắt xác suất và kỳ vọng cũng thực sự hữu ích. Bạn cũng nên rõ ràng với các vectơ trực giao và các sản phẩm bên trong.

Điều đó đang được nói, tôi sẽ đề nghị bạn nắm bắt các phép tính cơ bản và hoạt động ma trận và thử học các khái niệm AI. Nếu bạn không thể tìm ra điều gì đó, hãy khám phá toán học.

Lưu ý: một lần nữa điều này chỉ để bắt đầu.