Những gì có thể học được từ các trọng số trong một mạng lưới thần kinh?

Tôi rất mới với các mạng lưới thần kinh, và đã cố gắng tìm ra một số điều. Vì vậy, giả sử bạn đi qua một mạng thần kinh có 100 đầu vào, một lớp ẩn với 200 nút và 32 đầu ra. Chúng ta cũng nói rằng bạn, "người phát hiện" trường hợp đặc biệt này của mạng lưới thần kinh, có thể đọc được trọng lượng của từng nơ-ron riêng lẻ. Bạn có thể hiểu gì về chức năng của nó?

1) Bạn có thể xác định thuật toán hoặc logic nào được chứa trong mạng thần kinh không? Khác với việc cho ăn tất cả các đầu vào có thể và nghiên cứu các đầu ra mà nó tạo ra.

2) Nếu bạn được cung cấp thông tin về kết nối của mạng thần kinh (có thể mạng không được kết nối đầy đủ), việc giải quyết câu hỏi ở trên có dễ dàng hơn không?

Nó phụ thuộc. Trọng lượng của các mạng thần kinh có thể được vẽ biểu đồ hoặc hình dung cho một số hiểu biết. Điều này đặc biệt hữu ích nếu mạng lưới thần kinh hoạt động với xử lý hình ảnh. Có thể "rút ra" những gì đầu vào cấp thấp vào mạng nơ-ron tạo ra các nơ-ron đặc biệt ở mức cao hơn để "bắn" bằng cách làm việc ngược lại thông qua mạng nơ-ron, nói cách khác, vấn đề tìm / lấy đầu vào cấp thấp các mẫu kích thích tối đa các nơ-ron đặc biệt và vẽ đồ thị kết quả. Một ví dụ tuyệt vời về điều này là kết quả đột phá gần đây của Google trong một mạng hình ảnh tự đào tạo, tự tổ chức để tìm các mẫu cấp cao hơn như mèo và mặt người, v.v. [1], [2], [3]

Điều này còn được gọi là "phát hiện tính năng" và có nghiên cứu giành giải thưởng Nobel (1981 Hubel / Weisel) chứng minh rằng các tế bào thần kinh não thực sự hoạt động theo cách tương tự, ở các mức độ khác nhau. Nghiên cứu tích cực đang diễn ra / tiếp tục trong lĩnh vực này trong cả hệ thống sinh học và nhân tạo.

Một cách khác để phân tích trọng lượng mạng thần kinh là kết luận yếu tố nào (đầu vào) ảnh hưởng đến mạng lưới thần kinh và yếu tố nào không. Ví dụ: giả sử mạng lưới thần kinh được sử dụng để dự đoán giá cổ phiếu và nó có nhiều yếu tố đầu vào liên quan đến các biến số kinh tế khác nhau như GDP, giá vàng, DJIA (chỉ số) và lãi suất. Sau khi mạng được đào tạo (thành công!) Để dự đoán một cái gì đó (giả sử giá cả trong tương lai), người ta có thể xác định mức độ ảnh hưởng của từng biến đầu vào đối với dự đoán cuối cùng.

Ngoài ra, một quyết định có thể được thực hiện từ mối tương quan âm hoặc dương cơ bản giữa đầu vào và đầu ra. Theo cách này, mạng lưới thần kinh có thể được sử dụng theo cách rất giống với các kỹ thuật thống kê như phân tích nhân tố .

Vì vậy, câu trả lời là "có hoàn toàn", nhưng chỉ theo nghĩa là có nhiều cách khác nhau để tiết lộ "thuật toán" trong các mạng thần kinh thông qua đồ họa hoặc các biểu diễn "có thể đọc được" khác ngoài biểu diễn điển hình của thuật toán, tức là mã. Nhưng đại diện cho trọng lượng mạng thần kinh theo cách có thể đọc được của con người và tìm kiếm các biểu diễn hữu ích mới là một lĩnh vực nghiên cứu tích cực.

[1] Google đưa công nghệ não ảo của mình vào công nghệ đánh giá công nghệ

[2] Bộ não nhân tạo của Google học cách tìm video mèo có dây

[3] Có bao nhiêu máy tính để nhận dạng một con mèo? 16.000 NYT

Bạn có thể xác định những gì thuật toán hoặc logic được chứa trong mạng thần kinh? Khác với việc cho ăn tất cả các đầu vào có thể và nghiên cứu các đầu ra mà nó tạo ra.

Không, tôi không nghĩ vậy, không phải theo một cách có ý nghĩa. Điều đó sẽ giống như việc nghiên cứu các bit trong từng byte riêng lẻ của một chương trình máy tính nhằm nỗ lực đánh giá mục đích của nó. Bạn cần có ý nghĩa để xác định điều đó, và bạn chỉ có thể có được điều đó bằng cách nghiên cứu các đầu vào và đầu ra, hoặc đánh giá các opcode thực tế.

Không có ý nghĩa trong trọng lượng tế bào thần kinh cá nhân; chỉ khi những trọng lượng đó được kết hợp thành một câu trả lời thì chúng mới trở nên có ý nghĩa.

Bạn có thể có thể xác định phương pháp đào tạo của mạng lưới thần kinh bằng cách quan sát cấu trúc tổng thể của nó và mô hình của các trọng số tương đối trong cấu trúc tế bào thần kinh.