Các nhà khoa học có biết những gì đang xảy ra bên trong mạng lưới thần kinh nhân tạo?


69

Các nhà khoa học hoặc chuyên gia nghiên cứu có biết từ nhà bếp những gì đang xảy ra bên trong mạng lưới thần kinh "sâu" phức tạp với ít nhất hàng triệu kết nối bắn ra ngay lập tức không? Họ có hiểu quá trình đằng sau điều này (ví dụ những gì đang xảy ra bên trong và cách thức hoạt động chính xác), hay nó là một chủ đề tranh luận?

Ví dụ nghiên cứu này nói:

Tuy nhiên, không có sự hiểu biết rõ ràng về lý do tại sao họ thực hiện tốt như vậy, hoặc làm thế nào họ có thể được cải thiện.

Vì vậy, điều này có nghĩa là các nhà khoa học thực sự không biết các mô hình mạng chập phức tạp hoạt động như thế nào?


" tại sao họ thực hiện tốt như vậy " - họ không thực sự thực hiện tốt SO. Như với hầu hết các công nghệ mới, thất bại là không được báo cáo.
Tomáš Zato

Câu trả lời:


51

Có nhiều cách tiếp cận nhằm mục đích làm cho một mạng lưới thần kinh được đào tạo trở nên dễ hiểu hơn và giống như một "hộp đen", đặc biệt là các mạng thần kinh tích chập mà bạn đã đề cập.

Hình dung các kích hoạt và trọng lượng lớp

Kích hoạt trực quan là cái rõ ràng đầu tiên và đơn giản. Đối với các mạng ReLU, các kích hoạt thường bắt đầu trông tương đối nhiều và dày đặc, nhưng khi quá trình đào tạo diễn ra, các kích hoạt thường trở nên thưa thớt hơn (hầu hết các giá trị đều bằng 0) và cục bộ. Điều này đôi khi cho thấy chính xác một lớp cụ thể được tập trung vào khi nhìn thấy một hình ảnh.

Một công trình tuyệt vời khác về các kích hoạt mà tôi muốn đề cập đến là deepvis cho thấy phản ứng của mọi nơ-ron ở mỗi lớp, bao gồm các lớp gộp và lớp chuẩn hóa. Đây là cách họ mô tả nó :

Nói tóm lại, chúng tôi đã tập hợp một vài phương pháp khác nhau cho phép bạn thực hiện tam giác hóa tính năng mà một nơron đã học, có thể giúp bạn hiểu rõ hơn về cách thức hoạt động của DNN.

Chiến lược phổ biến thứ hai là trực quan hóa các trọng số (bộ lọc). Chúng thường dễ hiểu nhất trên lớp CONV đầu tiên đang nhìn trực tiếp vào dữ liệu pixel thô, nhưng cũng có thể hiển thị trọng số bộ lọc sâu hơn trong mạng. Ví dụ, lớp đầu tiên thường học các bộ lọc giống như gabor về cơ bản phát hiện các cạnh và đốm màu.

bộ lọc lớp đầu tiên

Thí nghiệm loại trừ

Đây là ý tưởng. Giả sử rằng ConvNet phân loại hình ảnh là một con chó. Làm thế nào chúng ta có thể chắc chắn rằng nó thực sự nhặt được con chó trong hình ảnh trái ngược với một số tín hiệu theo ngữ cảnh từ nền hoặc một số đối tượng linh tinh khác?

Một cách để điều tra phần nào của hình ảnh mà một số dự đoán phân loại xuất phát là bằng cách tính xác suất của lớp quan tâm (ví dụ: lớp chó) là một chức năng của vị trí của một đối tượng ẩn. Nếu chúng ta lặp đi lặp lại trên các vùng của hình ảnh, thay thế nó bằng tất cả các số không và kiểm tra kết quả phân loại, chúng ta có thể xây dựng bản đồ nhiệt 2 chiều về những gì quan trọng nhất đối với mạng trên một hình ảnh cụ thể. Cách tiếp cận này đã được sử dụng trong Trực quan hóa và hiểu về mạng kết hợp của Matthew Zeiler (mà bạn đề cập đến trong câu hỏi của bạn):

thí nghiệm tắc

Giải mã

Một cách tiếp cận khác là tổng hợp một hình ảnh khiến một nơ-ron cụ thể phát hỏa, về cơ bản là những gì nơ-ron đang tìm kiếm. Ý tưởng là tính toán độ dốc đối với hình ảnh, thay vì độ dốc thông thường đối với trọng số. Vì vậy, bạn chọn một lớp, đặt độ dốc ở đó bằng 0, ngoại trừ một cho một nơron và backprop cho hình ảnh.

Deconv thực sự làm một cái gì đó gọi là backpropagation có hướng dẫn để tạo ra một hình ảnh đẹp hơn, nhưng đó chỉ là một chi tiết.

Cách tiếp cận tương tự với các mạng thần kinh khác

Rất khuyến khích bài đăng này của Andrej Karpathy , trong đó anh ấy chơi rất nhiều với Mạng thần kinh tái phát (RNN). Cuối cùng, anh ta áp dụng một kỹ thuật tương tự để xem những gì các tế bào thần kinh thực sự học được:

Tế bào thần kinh được tô sáng trong hình ảnh này dường như rất hào hứng với các URL và tắt bên ngoài các URL. LSTM có khả năng sử dụng nơ-ron này để ghi nhớ liệu nó có ở trong URL hay không.

Phần kết luận

Tôi chỉ đề cập một phần nhỏ kết quả trong lĩnh vực nghiên cứu này. Đó là các phương pháp khá tích cực và mới làm sáng tỏ hoạt động bên trong mạng thần kinh xuất hiện mỗi năm.

Để trả lời câu hỏi của bạn, luôn có điều gì đó mà các nhà khoa học chưa biết, nhưng trong nhiều trường hợp họ có một bức tranh tốt (văn học) về những gì đang diễn ra bên trong và có thể trả lời nhiều câu hỏi cụ thể.

Đối với tôi, trích dẫn từ câu hỏi của bạn chỉ đơn giản nhấn mạnh tầm quan trọng của nghiên cứu không chỉ cải thiện độ chính xác, mà cả cấu trúc bên trong của mạng. Như Matt Zieler nói trong bài nói chuyện này , đôi khi một hình dung tốt có thể dẫn đến độ chính xác tốt hơn.


Là trực quan biết? Hay đó chỉ là một giải pháp hợp thời cho sự thiếu hiểu biết? Có lẽ phát triển toán học là lĩnh vực thiếu sự nghiêm ngặt và đầy đủ nhất.
FauChristian

1
@FauChristian Bạn đang thiếu điểm ở đây. Các trọng số và tất cả các op toán học trong một mạng nơ ron được biết chính xác, giống như mã lắp ráp. Đây là ra khỏi câu hỏi. Hình dung cho phép hiểu lý do tại sao các ops nhất định đang xảy ra và dẫn đến hiệu suất tốt. Một lần nữa, giống như các thuật toán khoa học máy tính cổ điển. Bên cạnh đó, tôi khuyến khích bạn đọc bài báo của Zieler tại al, được đề cập trong câu trả lời.
Maxim

1
Tôi đã không bỏ lỡ những điểm đó, đã nghiên cứu chúng như một sinh viên chưa tốt nghiệp. Tôi đã lười biếng trong nhận xét của tôi mặc dù. Lưới b & w đại diện cho các hạt nhân chỉ thú vị ở chỗ nó cho thấy một ma trận hơi hỗn loạn của các trạng thái hạt nhân phát hiện cạnh lượn sóng, cho thấy cần phải mô tả sự hỗn loạn để hiểu nó. Phân bố kích thước của chúng, phân phối góc và phân phối nghiêng là gì? Các phân phối này có chỉ ra (a) Một đặc tính quá phù hợp với các tập dữ liệu nhất định hoặc (b) Một mẫu chung có thể được thay thế bằng một khối chức năng với hiệu quả tính toán lớn hơn. ~ ~ Một khi không thể nói từ hình ảnh.
FauChristian

1
Phải, tất cả các bản phân phối này (và nhiều - nhiều bản khác) không được tính toán ở đây. Điều đó không có nghĩa là họ không thể hoặc không nên tính toán. Điều đó cũng không có nghĩa là giải thích mô hình không liên quan gì đến trực quan hóa. Tôi một lần nữa khuyến khích bạn đọc "Trực quan hóa và hiểu các mạng kết hợp" của Zieler tại al, nơi các tác giả thảo luận chi tiết về vấn đề này.
Maxim

Chúng tôi có điều đó trong phòng thí nghiệm. Cộng sự của tôi đã chạy qua một số ví dụ mã. Tôi sẽ xem xét nó từ phía thống kê. Cám ơn.
FauChristian

27

Nó phụ thuộc vào những gì bạn có nghĩa là "biết những gì đang xảy ra".

Về mặt khái niệm, có: ANN thực hiện hồi quy phi tuyến. Biểu thức thực tế được biểu thị bằng ma trận trọng số / chức năng kích hoạt của ANN có thể được mở rộng rõ ràng ở dạng biểu tượng (ví dụ: chứa các biểu thức phụ như ).1/1+e1/1+e

Tuy nhiên, nếu 'biết', bạn có nghĩa là dự đoán đầu ra của một số ANN cụ thể (hộp đen) , bằng một số phương tiện khác, thì trở ngại là sự hiện diện của sự hỗn loạn trong ANN có mức độ tự do cao .

Đây cũng là một số công việc tương đối gần đây của Hod Lipson về việc hiểu ANN thông qua trực quan hóa .


13

Câu trả lời ngắn gọn là không .

Khả năng diễn giải mô hình là một lĩnh vực siêu tích cực và siêu nóng của nghiên cứu hiện tại (nghĩ về chén thánh, hoặc một cái gì đó), đã được đưa ra gần đây không ít do sự thành công (thường là rất lớn) của các mô hình học sâu trong các nhiệm vụ khác nhau; những mô hình này hiện chỉ là hộp đen và chúng tôi tự nhiên cảm thấy không thoải mái về nó ...

Dưới đây là một số tài nguyên chung (và gần đây, kể từ tháng 12 năm 2017) về chủ đề này:

Và ở mức độ thực tế hơn (mã, v.v.):

Gần đây, đã có một sự gia tăng lợi ích để bắt đầu xây dựng một cơ sở lý thuyết hơn cho mạng lưới thần kinh học tập sâu. Trong bối cảnh này, nhà tiên phong thống kê và cảm biến nén nổi tiếng David Donoho gần đây (mùa thu 2017) đã bắt đầu cung cấp một khóa học tại Stanford, Theories of Deep Learning (STATS 385) , với hầu hết tất cả các tài liệu có sẵn trực tuyến; rất khuyến khích ...

CẬP NHẬT :


Chào. Đây có vẻ là một câu trả lời tốt, nhưng bạn cần dọn dẹp và tổ chức một chút. Các tài nguyên đầu tiên nên hữu ích và chung nhất. Sau đó, bạn có thể liệt kê các tài nguyên và tài liệu nghiên cứu cụ thể hơn, IMHO. Và sau này bạn có thể liệt kê các chủ đề Twitter hoặc bất cứ điều gì.
nbro


8

Tôi e rằng tôi không có các trích dẫn cụ thể, nhưng tôi đã thấy / nghe các trích dẫn của các chuyên gia như Andrew Ng và Geoffrey Hinton khi họ nói rõ rằng chúng tôi không thực sự hiểu về mạng lưới thần kinh. Đó là, chúng tôi hiểu điều gì đó về cách chúng hoạt động (ví dụ: toán học đằng sau sự truyền bá trở lại) nhưng chúng tôi không thực sự hiểu tại sao chúng hoạt động. Đó là một sự khác biệt tinh tế, nhưng vấn đề là không, chúng tôi không hiểu chi tiết sâu sắc nhất về cách chính xác bạn đi từ một loạt các trọng lượng, để, nói, nhận ra một con mèo chơi với một quả bóng.

Ít nhất là về mặt nhận dạng hình ảnh, lời giải thích tốt nhất tôi từng nghe là các lớp liên tiếp của mạng thần kinh học các tính năng phức tạp hơn, bao gồm các tính năng chi tiết hơn từ các cấp độ trước đó. Điều đó có nghĩa là, lớp đầu tiên có thể nhận ra "các cạnh" hoặc "các đường thẳng". Lớp tiếp theo có thể học các hình dạng hình học như "hộp" hoặc "tam giác", và sau đó lớp cao hơn có thể học "mũi" hoặc "mắt" dựa trên các đặc điểm trước đó, và sau đó lớp cấp cao hơn vẫn học "khuôn mặt" từ "mắt", "mũi", "hàm", v.v ... Nhưng ngay cả điều đó, theo tôi hiểu, nó vẫn chỉ là giả thuyết và / hoặc không được hiểu một cách chi tiết.


2
Tôi muốn được đọc các trích dẫn thực tế. Ở cấp độ khái niệm rộng nhất, tại sao "Chúng là các hàm xấp xỉ hàm phổ quát được đào tạo để giảm lỗi trong bài toán hồi quy".
NietzscheanAI

Tôi sẽ xem nếu tôi có thể theo dõi chúng xuống. Tôi khá chắc chắn rằng trích dẫn từ Geoffrey Hinton mà tôi đang nghĩ đến là trong một video .. hoặc từ Lớp Coursera của anh ấy hoặc một số video anh ấy đã đăng lên Youtube. Nếu tôi có thể tìm thấy nó, tôi sẽ chỉnh sửa câu trả lời của mình và liên kết nó.
Tội lỗi

Tôi chưa quên. Tôi sẽ cố gắng tìm chúng khi tôi có một chút thời gian rảnh. Tôi nghĩ rằng ít nhất một trong những cái tôi nghĩ đến là từ một video thuộc khóa học Coursera.
trí

Nghiên cứu này có thể giúp đưa ra các tài liệu tham khảo tương tự: 'Tuy nhiên không có sự hiểu biết rõ ràng về lý do tại sao chúng hoạt động tốt như vậy hoặc làm thế nào chúng có thể được cải thiện'.
kenorb

4

Dưới đây là câu trả lời của Carlos E. Perez cho câu hỏi Lý thuyết đằng sau việc học sâu là gì?

[...]

Toán học cơ bản của Deep Learning đã tồn tại trong nhiều thập kỷ, tuy nhiên những kết quả ấn tượng mà chúng ta thấy ngày nay là một phần hệ quả của phần cứng nhanh hơn nhiều, nhiều dữ liệu hơn và cải tiến gia tăng trong các phương pháp.

Deep Learning nói chung có thể được đóng khung là vấn đề tối ưu hóa trong đó mục tiêu là một hàm của lỗi mô hình. Vấn đề tối ưu hóa này rất khó giải quyết vì không gian tham số của mô hình (nghĩa là trọng số của mạng nơ ron) dẫn đến một vấn đề ở chiều cực cao. Một thuật toán tối ưu hóa có thể mất một thời gian rất dài để khám phá không gian này. Hơn nữa, có một niềm tin chưa được xác minh rằng vấn đề là không lồi và tính toán sẽ mãi mãi bị mắc kẹt trong cực tiểu địa phương.

[...]

Lý thuyết về lý do tại sao máy móc thực sự hội tụ đến một người thu hút hay nói cách khác là học cách nhận biết các mẫu phức tạp vẫn chưa được biết.

Tóm lại: chúng tôi có một số ý tưởng, nhưng chúng tôi không chắc chắn lắm.


3

Các nhà khoa học có biết những gì đang xảy ra bên trong mạng lưới thần kinh nhân tạo?

ĐÚNG

Các nhà khoa học hoặc chuyên gia nghiên cứu có biết từ nhà bếp những gì đang xảy ra bên trong mạng lưới thần kinh "sâu" phức tạp với ít nhất hàng triệu kết nối bắn ra ngay lập tức không?

Tôi đoán "để biết từ bếp" có nghĩa là "để biết chi tiết"?

Hãy để tôi cung cấp cho bạn một loạt các tương tự:

  1. Có một kỹ sư máy bay biết từ nhà bếp những gì xảy ra bên trong máy bay?
  2. Liệu một nhà thiết kế chip có biết chi tiết những gì xảy ra trong (các) chip mà anh ta thiết kế không?
  3. Có một kỹ sư dân sự biết tất cả mọi thứ về ngôi nhà anh ta xây dựng?

Ma quỷ là chi tiết, nhưng một điểm quan trọng ở đây là về cấu trúc nhân tạo. Họ không xuất hiện ngẫu nhiên. Bạn cần rất nhiều kiến ​​thức để có được bất cứ điều gì hữu ích. Đối với Mạng nơ-ron, tôi sẽ nói rằng phải mất khoảng 40 năm kể từ khi xuất bản ý tưởng chính (Rosenblatt perceptron, 1957) đến ứng dụng đầu tiên (Dịch vụ Bưu chính Hoa Kỳ, 1989). Và từ đó một lần nữa 13 năm hoạt động trở lại các hệ thống thực sự ấn tượng (ImageNet 2012).

Những gì chúng ta biết siêu tốt là làm thế nào đào tạo hoạt động . Bởi vì nó cần phải được thực hiện. Vì vậy, trên một cấu trúc rất nhỏ, chúng tôi biết nó một cách chi tiết.

Hãy nghĩ về máy tính. Các nhà thiết kế chip biết rất rõ cách thức hoạt động của chip. Nhưng họ có thể sẽ chỉ có một ý tưởng rất sơ bộ về cách hệ điều hành Linux hoạt động.

Một ví dụ khác là vật lý và hóa học: Vật lý mô tả các lực cốt lõi của vũ trụ. Điều đó có nghĩa là họ biết tất cả mọi thứ về hóa học? Trời ơi không! Một nhà vật lý "hoàn hảo" có thể giải thích mọi thứ trong hóa học ... nhưng nó sẽ khá vô dụng. Anh ta sẽ cần nhiều thông tin hơn, không thể bỏ qua những phần không liên quan. Đơn giản là vì anh ta "phóng to" quá nhiều - xem xét các chi tiết trong thực tế không thú vị cũng không quan trọng. Xin lưu ý rằng kiến ​​thức của nhà vật lý không sai. Có lẽ người ta thậm chí có thể suy luận kiến ​​thức từ nhà hóa học từ nó. Nhưng sự hiểu biết "mức độ cao" về tương tác phân tử này bị thiếu.

Cái nhìn sâu sắc quan trọng từ hai ví dụ này là các lớp trừu tượng: Bạn có thể xây dựng sự phức tạp từ các cấu trúc đơn giản .

Còn gì nữa không

Chúng tôi biết rõ những gì về nguyên tắc có thể đạt được với các mạng thần kinh mà chúng tôi thiết kế:

  • Một mạng lưới thần kinh được thiết kế để chơi cờ vây - dù tinh vi đến đâu - thậm chí sẽ không bao giờ có thể chơi cờ. Tất nhiên, bạn có thể thêm một lớp trừu tượng khác xung quanh nó và kết hợp mọi thứ. Nhưng phương pháp này cần con người.
  • Một mạng lưới thần kinh được thiết kế để phân biệt chó với mèo chỉ nhìn thấy pudels và mèo Ba Tư có thể sẽ hoạt động rất tệ khi phải quyết định cho Yorkshire Terrier.

Ồ, và tất nhiên chúng ta có các phương pháp phân tích cho các mạng lưới thần kinh. Tôi đã viết luận văn thạc sĩ về Phân tích và Tối ưu hóa Kiến trúc Mạng thần kinh chuyển đổi . Trong bối cảnh này, LIME (Giải thích mô hình không thể giải thích cục bộ) rất hay:

nhập mô tả hình ảnh ở đây


1
Hầu hết trong số họ bị ảnh hưởng bởi các mô hình sinh học..Vì vậy, các nhà khoa học xây dựng NN như là một chức năng của một vấn đề rất khó tin ... Đặc biệt là khi không ai biết tại sao một kiến ​​trúc cụ thể hoặc một bộ siêu đường cụ thể hoạt động tốt cho một vấn đề nhất định ... Tôi không nói về siêu âm chính xác nhưng dường như không ai có ý thức chung về những gì siêu âm gần đúng có thể làm việc cho một vấn đề nhất định (vấn đề được xác định rõ) .. Vì vậy, không có nhà khoa học nào không biết những gì đang xảy ra bên trong một NN.
DuttaA

Hãy nghĩ về kỹ sư ô tô / máy bay ngày đầu. Bạn có nói rằng họ không biết những gì đang xảy ra bên trong máy bay / ô tô của họ, vì họ đã không chế tạo chúng, vì hình dạng của chúng không phải là khí động học?
Martin Thoma

1
Tất nhiên ... Không biết điều gì đó do thiếu công nghệ ... Có gì đó khác với việc không biết về mặt lý thuyết..Tôi tin rằng đó là công nghệ trong trường hợp máy bay..Trong khi chúng ta không thể xử lý toán
học..Vậy

1

Tôi chỉ muốn thêm một cái gì đó:

nó phụ thuộc vào ý của nhà khoa học:

Tôi là nghiên cứu sinh tiến sĩ về kỹ thuật điện và tôi đã thấy rất nhiều nhà nghiên cứu làm việc với ANN, trong các vấn đề như hồi quy, kiểm soát dự đoán, kiểm soát thích ứng và các vấn đề phân loại.

bạn có thể nhận thấy rõ rằng sự thiếu kỹ năng mã hóa của họ là một nhược điểm lớn và họ thực sự không hiểu những gì đang diễn ra bên trong ANN, bây giờ tôi thậm chí không nói về Deep , họ đấu tranh để hiểu những thứ đơn giản như ADALINE và ANFIS! tất cả những gì bạn nghe họ nói là: cung cấp cho nó dữ liệu và nó sẽ thích nghi!


1
Mặc dù bạn có thể đúng về mặt khái niệm, bạn có thể nhận được một số phiếu bầu và có thể là một số trợ giúp mang tính xây dựng nếu bạn viết lại câu trả lời của bạn để đi qua như một quan sát xã hội học chứ không phải là một sắc thái phạm vi.
FauChristian
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.