Mô hình biểu tượng (đồ chơi) của mạng lưới thần kinh

Các giáo sư vật lý của tôi ở trường cấp ba, cũng như Feynman, người đoạt giải Cao quý, sẽ luôn trình bày những gì họ gọi là mô hình đồ chơi để minh họa các khái niệm và phương pháp cơ bản trong vật lý, như dao động điều hòa, con lắc, đầu quay và hộp đen.

Những mô hình đồ chơi nào được sử dụng để minh họa các khái niệm và phương pháp cơ bản trong ứng dụng của mạng lưới thần kinh? (Xin vui lòng tham khảo.)

Theo mô hình đồ chơi, ý tôi là một mạng đặc biệt đơn giản, có kích thước tối thiểu được áp dụng cho một vấn đề rất hạn chế thông qua đó có thể trình bày các phương pháp cơ bản và sự hiểu biết của một người được kiểm tra và nâng cao thông qua triển khai thực tế, nghĩa là xây dựng mã cơ bản và tốt nhất là ở một mức độ nhất định / kiểm tra toán cơ bản bằng tay hoặc hỗ trợ bởi một ứng dụng toán học tượng trưng.

Một trong những thứ cổ điển nhất là Perceptron ở 2 chiều, quay trở lại những năm 1950. Đây là một ví dụ tốt vì nó là bệ phóng cho các kỹ thuật hiện đại hơn:

1) Không phải mọi thứ đều có thể phân tách tuyến tính (do đó cần kích hoạt phi tuyến hoặc phương thức kernel, nhiều lớp, v.v.).

2) Perceptron sẽ không hội tụ nếu dữ liệu không thể phân tách tuyến tính (các biện pháp phân tách liên tục như softmax, phân rã tốc độ học tập, v.v.).

3) Mặc dù có vô số giải pháp để phân tách dữ liệu, nhưng rõ ràng một số giải pháp được mong muốn hơn các giải pháp khác (tách ranh giới tối đa, SVM, v.v.)

Đối với các mạng thần kinh đa lớp, bạn có thể thích các ví dụ phân loại đồ chơi đi kèm với trực quan hóa này .

Đối với mạng lưới thần kinh Convolutional, MNIST là tiêu chuẩn vàng cổ điển, với hình ảnh dễ thương ở đây và đây .

Đối với RNN, một vấn đề thực sự đơn giản mà họ có thể giải quyết là bổ sung nhị phân , yêu cầu ghi nhớ 4 mẫu.

1. Vấn đề XOR có lẽ là vấn đề đồ chơi ANN kinh điển.

   Richard Bland Tháng 6 năm 1998 Đại học Stirling, Khoa Khoa học Máy tính và Toán học Báo cáo Kỹ thuật Khoa học " Học XOR: khám phá không gian của một vấn đề kinh điển "

2. Các TensorFlow Sân chơi là một giao diện tương tác với một số lưới toy thần kinh, bao gồm XOR và Jellyroll.

3. Tính toán giá trị riêng lớn nhất của ma trận đối xứng có kích thước cố định (2x2 hoặc 3x3) là ma trận tôi sử dụng trong các bản trình diễn trong lớp.

   A. Cichocki và R. Unbehauen. " Mạng lưới thần kinh để tính toán giá trị bản địa và người bản địa " Điện tử học sinh học tháng 12 năm 1992, Tập 68, Số 2, trang 155 Ly164

Các vấn đề như MNIST chắc chắn là hợp quy nhưng không dễ dàng xác minh bằng tay - trừ khi bạn có thời gian rảnh rất lớn. Cũng không phải là mã đặc biệt cơ bản.

Theo như các nhiệm vụ của NLP, Ngân hàng Penn Tree là một bộ dữ liệu điểm chuẩn rất chuẩn, ví dụ được sử dụng trong Wojciech Zaremba, Ilya Sutskever, "Chính quy hóa mạng thần kinh tái phát " của Oriol Vinyals , và có lẽ hàng trăm bài báo khác.

Tôi không biết về một món đồ chơi vật lý, nhưng ví dụ điển hình nhất mà tôi biết là một AI nhiều lớp được tạo ra thông qua thuật toán di truyền để chơi Super Mario Brothers. Mã nguồn là trong mô tả video.

MarI / O - Học máy cho các trò chơi video: https://www.youtube.com/watch?v=qv6UVOQ0F44