Ý nghĩa của một mạng lưới thần kinh như một hộp đen?


19

Tôi thường nghe mọi người nói về mạng lưới thần kinh như một cái hộp đen mà bạn không hiểu ý nghĩa của nó hoặc ý nghĩa của chúng. Tôi thực sự không thể hiểu ý của họ là gì! Nếu bạn hiểu cách truyền ngược hoạt động, thì nó là hộp đen như thế nào?

Có phải họ có nghĩa là chúng ta không hiểu làm thế nào các trọng số đã được tính toán hoặc những gì?


1
Có lẽ điều này sẽ giúp: colah.github.io/posts/2014-03-NN-Manifold-Topology Bài viết này cố gắng khám phá cơ chế cơ bản của mạng lưới thần kinh từ góc độ tô pô, nó cung cấp rất nhiều hiểu biết tuyệt vời để giải thích hiệu suất của mạng lưới thần kinh.
Sol

Tôi muốn thêm điểm vào Jack, khi chúng ta xem MLP theo quan điểm học máy, mạng lưới thần kinh không còn là hộp đen nữa. Với hàm sigmoid đơn giản, chúng ta sẽ có thể diễn giải mối quan hệ đầu vào và đầu ra với một phương trình.

Câu trả lời:


37

Mạng thần kinh là một hộp đen theo nghĩa là trong khi nó có thể xấp xỉ bất kỳ chức năng nào, việc nghiên cứu cấu trúc của nó sẽ không cung cấp cho bạn bất kỳ thông tin chi tiết nào về cấu trúc của hàm được tính gần đúng.

Ví dụ, một cách sử dụng phổ biến của mạng lưới thần kinh trong kinh doanh ngân hàng là phân loại người cho vay theo "người trả tiền tốt" và "người trả tiền xấu". Bạn có một ma trận các đặc điểm đầu vào (giới tính, tuổi tác, thu nhập, v.v.) và một vectơ kết quả ("mặc định", "không được mặc định", v.v.). Khi bạn mô hình hóa điều này bằng cách sử dụng mạng nơ ron, bạn cho rằng có một hàm , theo đúng nghĩa của một hàm toán học. Hàm f này có thể phức tạp tùy ý và có thể thay đổi theo sự phát triển của doanh nghiệp, vì vậy bạn không thể lấy được nó bằng tay.CRf(C)= =R

f

Vấn đề hộp đen là: Sự gần đúng được đưa ra bởi mạng lưới thần kinh sẽ không cung cấp cho bạn bất kỳ cái nhìn sâu sắc nào về hình thức của f. Không có liên kết đơn giản giữa các trọng số và hàm được tính gần đúng. Ngay cả việc phân tích đặc tính đầu vào nào không liên quan cũng là một vấn đề mở (xem liên kết này ).

Ngoài ra, theo quan điểm thống kê truyền thống, mạng nơ-ron là mô hình không thể nhận dạng: Đưa ra một tập dữ liệu và cấu trúc liên kết mạng, có thể có hai mạng thần kinh có trọng số khác nhau và kết quả giống nhau. Điều này làm cho việc phân tích rất khó khăn.

Như một ví dụ về "mô hình hộp không đen" hay "mô hình có thể hiểu được", bạn có phương trình hồi quy và cây quyết định. Cái đầu tiên cung cấp cho bạn một xấp xỉ dạng đóng của f trong đó tầm quan trọng của từng yếu tố là rõ ràng, cái thứ hai là một mô tả đồ họa của một số tỷ lệ rủi ro tương đối.


Vì đây là một câu trả lời cũ, một số công cụ có thể hữu ích để cung cấp một số công cụ mới được phát triển: "Phép tính gần đúng được cung cấp bởi mạng thần kinh sẽ không cung cấp cho bạn bất kỳ thông tin chi tiết nào về hình thức f" - Tôi nói rằng SHAP hiện có công việc tuyệt vời của giải thích mô hình, ngay cả đối với mạng lưới thần kinh. "Ngay cả việc phân tích đặc tính đầu vào nào không liên quan cũng là một vấn đề mở" - các mothods như tầm quan trọng hoán vị, cũng như SHAP, hiện đang giải quyết vấn đề này khá tốt.
Bobson Dugnutt

3

Google đã xuất bản Inception-v3 . Đó là Mạng thần kinh (NN) cho thuật toán phân loại hình ảnh (nói với một con mèo từ một con chó).

Trong bài báo họ nói về hiện trạng phân loại hình ảnh

Ví dụ: GoogleNet chỉ sử dụng 5 triệu tham số, đại diện cho mức giảm 12 lần so với AlexNet tiền nhiệm, sử dụng 60 triệu tham số. Ngoài ra, VGGNet sử dụng nhiều hơn 3 lần so với AlexNet

và đó là cơ bản tại sao chúng ta gọi NN cho hộp đen. Nếu tôi huấn luyện một mô hình phân loại hình ảnh - với 10 triệu thông số - và trao nó cho bạn. bạn có thể làm gì với nó?

Bạn chắc chắn có thể chạy nó và phân loại hình ảnh. Nó sẽ làm việc tuyệt vời! Nhưng bạn không thể trả lời bất kỳ câu hỏi nào sau đây bằng cách nghiên cứu tất cả các trọng số, thành kiến ​​và cấu trúc mạng.

  • Mạng này có thể nói với Husky từ Poodle không?
  • Những đối tượng nào dễ phân loại cho thuật toán, cái nào khó?
  • Bộ phận nào của con chó là quan trọng nhất để có thể phân loại chính xác? Đuôi hay chân?
  • Nếu tôi photoshop một con mèo đầu trên một con chó, điều gì xảy ra, và tại sao?

Bạn có thể trả lời các câu hỏi bằng cách chỉ chạy NN và xem kết quả (hộp đen), nhưng bạn không thay đổi cách hiểu tại sao nó lại hành xử theo cách nó làm trong các trường hợp cạnh.


Tôi nghĩ rằng ít nhất một trong những câu hỏi ('Phần nào của con chó là quan trọng nhất để có thể phân loại chính xác? Đuôi hay chân?') Hoàn toàn có thể trả lời được, nếu bạn xem bài viết và video của Matt Zeiler về deconvolutitonal mạng
Alex
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.