Các nhà khoa học có biết những gì đang xảy ra bên trong mạng lưới thần kinh nhân tạo?

Các nhà khoa học hoặc chuyên gia nghiên cứu có biết từ nhà bếp những gì đang xảy ra bên trong mạng lưới thần kinh "sâu" phức tạp với ít nhất hàng triệu kết nối bắn ra ngay lập tức không? Họ có hiểu quá trình đằng sau điều này (ví dụ những gì đang xảy ra bên trong và cách thức hoạt động chính xác), hay nó là một chủ đề tranh luận?

Ví dụ nghiên cứu này nói:

Tuy nhiên, không có sự hiểu biết rõ ràng về lý do tại sao họ thực hiện tốt như vậy, hoặc làm thế nào họ có thể được cải thiện.

Vì vậy, điều này có nghĩa là các nhà khoa học thực sự không biết các mô hình mạng chập phức tạp hoạt động như thế nào?

Có nhiều cách tiếp cận nhằm mục đích làm cho một mạng lưới thần kinh được đào tạo trở nên dễ hiểu hơn và giống như một "hộp đen", đặc biệt là các mạng thần kinh tích chập mà bạn đã đề cập.

Hình dung các kích hoạt và trọng lượng lớp

Kích hoạt trực quan là cái rõ ràng đầu tiên và đơn giản. Đối với các mạng ReLU, các kích hoạt thường bắt đầu trông tương đối nhiều và dày đặc, nhưng khi quá trình đào tạo diễn ra, các kích hoạt thường trở nên thưa thớt hơn (hầu hết các giá trị đều bằng 0) và cục bộ. Điều này đôi khi cho thấy chính xác một lớp cụ thể được tập trung vào khi nhìn thấy một hình ảnh.

Một công trình tuyệt vời khác về các kích hoạt mà tôi muốn đề cập đến là deepvis cho thấy phản ứng của mọi nơ-ron ở mỗi lớp, bao gồm các lớp gộp và lớp chuẩn hóa. Đây là cách họ mô tả nó :

Nói tóm lại, chúng tôi đã tập hợp một vài phương pháp khác nhau cho phép bạn thực hiện tam giác hóa tính năng mà một nơron đã học, có thể giúp bạn hiểu rõ hơn về cách thức hoạt động của DNN.

Chiến lược phổ biến thứ hai là trực quan hóa các trọng số (bộ lọc). Chúng thường dễ hiểu nhất trên lớp CONV đầu tiên đang nhìn trực tiếp vào dữ liệu pixel thô, nhưng cũng có thể hiển thị trọng số bộ lọc sâu hơn trong mạng. Ví dụ, lớp đầu tiên thường học các bộ lọc giống như gabor về cơ bản phát hiện các cạnh và đốm màu.

Thí nghiệm loại trừ

Đây là ý tưởng. Giả sử rằng ConvNet phân loại hình ảnh là một con chó. Làm thế nào chúng ta có thể chắc chắn rằng nó thực sự nhặt được con chó trong hình ảnh trái ngược với một số tín hiệu theo ngữ cảnh từ nền hoặc một số đối tượng linh tinh khác?

Một cách để điều tra phần nào của hình ảnh mà một số dự đoán phân loại xuất phát là bằng cách tính xác suất của lớp quan tâm (ví dụ: lớp chó) là một chức năng của vị trí của một đối tượng ẩn. Nếu chúng ta lặp đi lặp lại trên các vùng của hình ảnh, thay thế nó bằng tất cả các số không và kiểm tra kết quả phân loại, chúng ta có thể xây dựng bản đồ nhiệt 2 chiều về những gì quan trọng nhất đối với mạng trên một hình ảnh cụ thể. Cách tiếp cận này đã được sử dụng trong Trực quan hóa và hiểu về mạng kết hợp của Matthew Zeiler (mà bạn đề cập đến trong câu hỏi của bạn):

Giải mã

Một cách tiếp cận khác là tổng hợp một hình ảnh khiến một nơ-ron cụ thể phát hỏa, về cơ bản là những gì nơ-ron đang tìm kiếm. Ý tưởng là tính toán độ dốc đối với hình ảnh, thay vì độ dốc thông thường đối với trọng số. Vì vậy, bạn chọn một lớp, đặt độ dốc ở đó bằng 0, ngoại trừ một cho một nơron và backprop cho hình ảnh.

Deconv thực sự làm một cái gì đó gọi là backpropagation có hướng dẫn để tạo ra một hình ảnh đẹp hơn, nhưng đó chỉ là một chi tiết.

Cách tiếp cận tương tự với các mạng thần kinh khác

Rất khuyến khích bài đăng này của Andrej Karpathy , trong đó anh ấy chơi rất nhiều với Mạng thần kinh tái phát (RNN). Cuối cùng, anh ta áp dụng một kỹ thuật tương tự để xem những gì các tế bào thần kinh thực sự học được:

Tế bào thần kinh được tô sáng trong hình ảnh này dường như rất hào hứng với các URL và tắt bên ngoài các URL. LSTM có khả năng sử dụng nơ-ron này để ghi nhớ liệu nó có ở trong URL hay không.

Phần kết luận

Tôi chỉ đề cập một phần nhỏ kết quả trong lĩnh vực nghiên cứu này. Đó là các phương pháp khá tích cực và mới làm sáng tỏ hoạt động bên trong mạng thần kinh xuất hiện mỗi năm.

Để trả lời câu hỏi của bạn, luôn có điều gì đó mà các nhà khoa học chưa biết, nhưng trong nhiều trường hợp họ có một bức tranh tốt (văn học) về những gì đang diễn ra bên trong và có thể trả lời nhiều câu hỏi cụ thể.

Đối với tôi, trích dẫn từ câu hỏi của bạn chỉ đơn giản nhấn mạnh tầm quan trọng của nghiên cứu không chỉ cải thiện độ chính xác, mà cả cấu trúc bên trong của mạng. Như Matt Zieler nói trong bài nói chuyện này , đôi khi một hình dung tốt có thể dẫn đến độ chính xác tốt hơn.

Nó phụ thuộc vào những gì bạn có nghĩa là "biết những gì đang xảy ra".

Về mặt khái niệm, có: ANN thực hiện hồi quy phi tuyến. Biểu thức thực tế được biểu thị bằng ma trận trọng số / chức năng kích hoạt của ANN có thể được mở rộng rõ ràng ở dạng biểu tượng (ví dụ: chứa các biểu thức phụ như ).$1/1+e^{1/1+e^{\dots}}$

Tuy nhiên, nếu 'biết', bạn có nghĩa là dự đoán đầu ra của một số ANN cụ thể (hộp đen) , bằng một số phương tiện khác, thì trở ngại là sự hiện diện của sự hỗn loạn trong ANN có mức độ tự do cao .

Đây cũng là một số công việc tương đối gần đây của Hod Lipson về việc hiểu ANN thông qua trực quan hóa .

Câu trả lời ngắn gọn là không .

Khả năng diễn giải mô hình là một lĩnh vực siêu tích cực và siêu nóng của nghiên cứu hiện tại (nghĩ về chén thánh, hoặc một cái gì đó), đã được đưa ra gần đây không ít do sự thành công (thường là rất lớn) của các mô hình học sâu trong các nhiệm vụ khác nhau; những mô hình này hiện chỉ là hộp đen và chúng tôi tự nhiên cảm thấy không thoải mái về nó ...

Dưới đây là một số tài nguyên chung (và gần đây, kể từ tháng 12 năm 2017) về chủ đề này:

• Một bài báo gần đây (tháng 7 năm 2017) trên Science cung cấp một cái nhìn tổng quan về tình trạng và nghiên cứu hiện tại: Làm thế nào các thám tử AI đang mở hộp đen học sâu (không có liên kết trong văn bản, nhưng các tên và thuật ngữ googling sẽ được đền đáp)

• Bản thân DARPA hiện đang chạy một chương trình về Trí tuệ nhân tạo có thể giải thích (XAI)

• Đã có một hội thảo trong NIPS 2016 về Học máy có thể giải thích cho các hệ thống phức tạp , cũng như một hướng dẫn ICML 2017 về Học máy có thể giải thích được bởi Kim của Google Brain.

Và ở mức độ thực tế hơn (mã, v.v.):

• Công cụ What-If của Google, một tính năng hoàn toàn mới (tháng 9 năm 2018) của ứng dụng web TensorBoard mã nguồn mở, cho phép người dùng phân tích mô hình ML mà không cần viết mã ( trang dự án , bài đăng trên blog )

• Hộp công cụ Tuyên truyền liên quan đến lớp (LRP) cho các mạng thần kinh ( giấy , trang dự án , mã , trình bao bọc TF Slim )

• FairML: Mô hình dự đoán hộp đen kiểm toán, bởi Cloudera Fast Forward Labs ( bài đăng trên blog , giấy , mã )

• LIME: Giải thích mô hình không thể giải thích cục bộ ( giấy , mã , bài đăng trên blog , cổng R )

• Một bài báo rất gần đây (tháng 11 năm 2017) của Geoff Hinton, Chắt lọc Mạng lưới thần kinh vào Cây quyết định mềm , với việc triển khai PyTorch độc lập

• SHAP: Cách tiếp cận thống nhất để diễn giải các dự đoán mô hình ( giấy , mã Python của tác giả , gói R )

• Mạng thần kinh chuyển đổi có thể giải thích được ( giấy , mã của tác giả )

• Lucid, một bộ sưu tập các cơ sở hạ tầng và công cụ để nghiên cứu khả năng hiểu được mạng thần kinh của Google ( mã ; giấy tờ: Trực quan hóa tính năng , Khối xây dựng khả năng giải thích )

• Các mạng trong suốt (TbD) ( giấy , mã , bản demo )

• SVCCA: Phân tích tương quan Canonical Vectorular cho tính năng học tập sâu và khả năng diễn giải ( giấy , mã , bài đăng trên blog của Google )

• TCAV: Thử nghiệm với vectơ kích hoạt khái niệm ( giấy ICML 2018 , mã hàng chục )

• Grad-CAM: Visual Giải thích từ Networks Sâu qua Gradient dựa trên Localization ( giấy , tác giả đang Torch , đang Tensorflow , đang PyTorch , Keras dụ máy tính xách tay )

• Phân tích mạng: Định lượng khả năng giải thích của các biểu diễn trực quan sâu, bởi MIT CSAIL ( trang dự án , mã Caffe , cổng PyTorch )

• Phân tích GAN: Trực quan hóa và hiểu các mạng đối thủ tạo, bởi MIT CSAIL ( trang dự án , với các liên kết đến giấy & mã)

• Giải thích để khắc phục: Khung dự đoán và sửa lỗi Dự đoán trình phát hiện đối tượng DNN ( giấy , mã )

Gần đây, đã có một sự gia tăng lợi ích để bắt đầu xây dựng một cơ sở lý thuyết hơn cho mạng lưới thần kinh học tập sâu. Trong bối cảnh này, nhà tiên phong thống kê và cảm biến nén nổi tiếng David Donoho gần đây (mùa thu 2017) đã bắt đầu cung cấp một khóa học tại Stanford, Theories of Deep Learning (STATS 385) , với hầu hết tất cả các tài liệu có sẵn trực tuyến; rất khuyến khích ...

CẬP NHẬT :

• Có thể giải thích Machine Learning , một Gitbook trực tuyến của Christoph Molnar với mã R (mặc dù trong phần lớn bao gồm các thuật toán khác với các mạng thần kinh)
• Một chủ đề Twitter , liên kết đến một số công cụ giải thích có sẵn cho R.
• Một khóa học trực tuyến ngắn (4 giờ) của Kaggle, Giải thích về học máy và bài đăng trên blog kèm theo
• Hướng dẫn ICML 2018 mới, Hướng tới sự hiểu biết lý thuyết về học tập sâu , của Sanjeev Arora
• Một bó toàn bộ các nguồn lực trong tạo ảnh vui nhộn Machine Learning diễn giải repo

Không chắc đây có phải là thứ bạn đang tìm kiếm hay không, nhưng google đã trích xuất hình ảnh từ các mạng khi chúng được cung cấp với nhiễu trắng.

Xem Inceptionism: Đi sâu hơn vào Mạng lưới thần kinh (Blog nghiên cứu của Google) .

Đây là loại đại diện cho những gì mạng biết.

Tôi e rằng tôi không có các trích dẫn cụ thể, nhưng tôi đã thấy / nghe các trích dẫn của các chuyên gia như Andrew Ng và Geoffrey Hinton khi họ nói rõ rằng chúng tôi không thực sự hiểu về mạng lưới thần kinh. Đó là, chúng tôi hiểu điều gì đó về cách chúng hoạt động (ví dụ: toán học đằng sau sự truyền bá trở lại) nhưng chúng tôi không thực sự hiểu tại sao chúng hoạt động. Đó là một sự khác biệt tinh tế, nhưng vấn đề là không, chúng tôi không hiểu chi tiết sâu sắc nhất về cách chính xác bạn đi từ một loạt các trọng lượng, để, nói, nhận ra một con mèo chơi với một quả bóng.

Ít nhất là về mặt nhận dạng hình ảnh, lời giải thích tốt nhất tôi từng nghe là các lớp liên tiếp của mạng thần kinh học các tính năng phức tạp hơn, bao gồm các tính năng chi tiết hơn từ các cấp độ trước đó. Điều đó có nghĩa là, lớp đầu tiên có thể nhận ra "các cạnh" hoặc "các đường thẳng". Lớp tiếp theo có thể học các hình dạng hình học như "hộp" hoặc "tam giác", và sau đó lớp cao hơn có thể học "mũi" hoặc "mắt" dựa trên các đặc điểm trước đó, và sau đó lớp cấp cao hơn vẫn học "khuôn mặt" từ "mắt", "mũi", "hàm", v.v ... Nhưng ngay cả điều đó, theo tôi hiểu, nó vẫn chỉ là giả thuyết và / hoặc không được hiểu một cách chi tiết.

Dưới đây là câu trả lời của Carlos E. Perez cho câu hỏi Lý thuyết đằng sau việc học sâu là gì?

[...]

Toán học cơ bản của Deep Learning đã tồn tại trong nhiều thập kỷ, tuy nhiên những kết quả ấn tượng mà chúng ta thấy ngày nay là một phần hệ quả của phần cứng nhanh hơn nhiều, nhiều dữ liệu hơn và cải tiến gia tăng trong các phương pháp.

Deep Learning nói chung có thể được đóng khung là vấn đề tối ưu hóa trong đó mục tiêu là một hàm của lỗi mô hình. Vấn đề tối ưu hóa này rất khó giải quyết vì không gian tham số của mô hình (nghĩa là trọng số của mạng nơ ron) dẫn đến một vấn đề ở chiều cực cao. Một thuật toán tối ưu hóa có thể mất một thời gian rất dài để khám phá không gian này. Hơn nữa, có một niềm tin chưa được xác minh rằng vấn đề là không lồi và tính toán sẽ mãi mãi bị mắc kẹt trong cực tiểu địa phương.

[...]

Lý thuyết về lý do tại sao máy móc thực sự hội tụ đến một người thu hút hay nói cách khác là học cách nhận biết các mẫu phức tạp vẫn chưa được biết.

Tóm lại: chúng tôi có một số ý tưởng, nhưng chúng tôi không chắc chắn lắm.

Các nhà khoa học có biết những gì đang xảy ra bên trong mạng lưới thần kinh nhân tạo?

ĐÚNG

Các nhà khoa học hoặc chuyên gia nghiên cứu có biết từ nhà bếp những gì đang xảy ra bên trong mạng lưới thần kinh "sâu" phức tạp với ít nhất hàng triệu kết nối bắn ra ngay lập tức không?

Tôi đoán "để biết từ bếp" có nghĩa là "để biết chi tiết"?

Hãy để tôi cung cấp cho bạn một loạt các tương tự:

1. Có một kỹ sư máy bay biết từ nhà bếp những gì xảy ra bên trong máy bay?
2. Liệu một nhà thiết kế chip có biết chi tiết những gì xảy ra trong (các) chip mà anh ta thiết kế không?
3. Có một kỹ sư dân sự biết tất cả mọi thứ về ngôi nhà anh ta xây dựng?

Ma quỷ là chi tiết, nhưng một điểm quan trọng ở đây là về cấu trúc nhân tạo. Họ không xuất hiện ngẫu nhiên. Bạn cần rất nhiều kiến ​​thức để có được bất cứ điều gì hữu ích. Đối với Mạng nơ-ron, tôi sẽ nói rằng phải mất khoảng 40 năm kể từ khi xuất bản ý tưởng chính (Rosenblatt perceptron, 1957) đến ứng dụng đầu tiên (Dịch vụ Bưu chính Hoa Kỳ, 1989). Và từ đó một lần nữa 13 năm hoạt động trở lại các hệ thống thực sự ấn tượng (ImageNet 2012).

Những gì chúng ta biết siêu tốt là làm thế nào đào tạo hoạt động . Bởi vì nó cần phải được thực hiện. Vì vậy, trên một cấu trúc rất nhỏ, chúng tôi biết nó một cách chi tiết.

Hãy nghĩ về máy tính. Các nhà thiết kế chip biết rất rõ cách thức hoạt động của chip. Nhưng họ có thể sẽ chỉ có một ý tưởng rất sơ bộ về cách hệ điều hành Linux hoạt động.

Một ví dụ khác là vật lý và hóa học: Vật lý mô tả các lực cốt lõi của vũ trụ. Điều đó có nghĩa là họ biết tất cả mọi thứ về hóa học? Trời ơi không! Một nhà vật lý "hoàn hảo" có thể giải thích mọi thứ trong hóa học ... nhưng nó sẽ khá vô dụng. Anh ta sẽ cần nhiều thông tin hơn, không thể bỏ qua những phần không liên quan. Đơn giản là vì anh ta "phóng to" quá nhiều - xem xét các chi tiết trong thực tế không thú vị cũng không quan trọng. Xin lưu ý rằng kiến ​​thức của nhà vật lý không sai. Có lẽ người ta thậm chí có thể suy luận kiến ​​thức từ nhà hóa học từ nó. Nhưng sự hiểu biết "mức độ cao" về tương tác phân tử này bị thiếu.

Cái nhìn sâu sắc quan trọng từ hai ví dụ này là các lớp trừu tượng: Bạn có thể xây dựng sự phức tạp từ các cấu trúc đơn giản .

Còn gì nữa không

Chúng tôi biết rõ những gì về nguyên tắc có thể đạt được với các mạng thần kinh mà chúng tôi thiết kế:

• Một mạng lưới thần kinh được thiết kế để chơi cờ vây - dù tinh vi đến đâu - thậm chí sẽ không bao giờ có thể chơi cờ. Tất nhiên, bạn có thể thêm một lớp trừu tượng khác xung quanh nó và kết hợp mọi thứ. Nhưng phương pháp này cần con người.
• Một mạng lưới thần kinh được thiết kế để phân biệt chó với mèo chỉ nhìn thấy pudels và mèo Ba Tư có thể sẽ hoạt động rất tệ khi phải quyết định cho Yorkshire Terrier.

Ồ, và tất nhiên chúng ta có các phương pháp phân tích cho các mạng lưới thần kinh. Tôi đã viết luận văn thạc sĩ về Phân tích và Tối ưu hóa Kiến trúc Mạng thần kinh chuyển đổi . Trong bối cảnh này, LIME (Giải thích mô hình không thể giải thích cục bộ) rất hay:

Tôi chỉ muốn thêm một cái gì đó:

nó phụ thuộc vào ý của nhà khoa học:

Tôi là nghiên cứu sinh tiến sĩ về kỹ thuật điện và tôi đã thấy rất nhiều nhà nghiên cứu làm việc với ANN, trong các vấn đề như hồi quy, kiểm soát dự đoán, kiểm soát thích ứng và các vấn đề phân loại.

bạn có thể nhận thấy rõ rằng sự thiếu kỹ năng mã hóa của họ là một nhược điểm lớn và họ thực sự không hiểu những gì đang diễn ra bên trong ANN, bây giờ tôi thậm chí không nói về Deep , họ đấu tranh để hiểu những thứ đơn giản như ADALINE và ANFIS! tất cả những gì bạn nghe họ nói là: cung cấp cho nó dữ liệu và nó sẽ thích nghi!