Hình dung đào tạo mạng lưới thần kinh sâu


13

Tôi đang cố gắng tìm một tương đương với Biểu đồ Hinton cho các mạng nhiều lớp để vẽ các trọng số trong quá trình đào tạo.

Mạng được đào tạo có phần giống với Deep SRN, nghĩa là nó có số lượng ma trận nhiều trọng số cao, điều này sẽ khiến cho âm mưu đồng thời của một số Biểu đồ Hinton trở nên khó hiểu.

Có ai biết một cách tốt để hình dung quá trình cập nhật trọng lượng cho các mạng lặp lại với nhiều lớp không?

Tôi đã không tìm thấy nhiều giấy tờ về chủ đề này. Tôi đã suy nghĩ để hiển thị thông tin liên quan đến thời gian trên các trọng số trên mỗi lớp thay vì nếu tôi không thể đưa ra một cái gì đó. Ví dụ: delta-delta theo thời gian cho mỗi lớp (bỏ qua việc sử dụng mọi kết nối đơn lẻ). PCA là một khả năng khác, mặc dù tôi không muốn tạo ra nhiều tính toán bổ sung, vì việc trực quan hóa được thực hiện trực tuyến trong quá trình đào tạo.

Câu trả lời:


10

Điều tôi biết là ConvNetJS :

ConvNetJS là một thư viện Javascript để đào tạo các mô hình Deep Learning (chủ yếu là Mạng thần kinh) hoàn toàn trong trình duyệt của bạn. Mở một tab và bạn đang đào tạo. Không yêu cầu phần mềm, không trình biên dịch, không cài đặt, không GPU, không đổ mồ hôi.

Các bản demo trên cốt truyện của trang này có trọng lượng và cách chúng thay đổi theo thời gian (lưu ý, nhiều thông số của nó, vì các mạng thực tế có rất nhiều nơ-ron). Hơn nữa, nếu bạn không hài lòng với âm mưu của họ, có quyền truy cập vào các tham số mạng và bạn có thể vẽ theo ý muốn (vì đó là JavaScript).


Cảm ơn! Điều thú vị là họ đã chọn sử dụng nhiều Biểu đồ Hinton để vẽ trọng số của mình. Tôi vẫn nghĩ rằng thật khó để diễn giải ngay khi bạn có quá nhiều lớp / kết nối nhưng thật tốt khi thấy nó hoạt động ít nhất.
runDOSrun

5

Dựa trên sự hiểu biết khó hiểu của tôi về các chủ đề, liên quan đến câu hỏi của bạn, tôi nghĩ rằng Gephi ( https://gephi.github.io ; liên kết gephi.org ban đầu chuyển hướng ở đó) có thể xử lý trực quan hóa mạng lưới thần kinh . Dường như, để đạt được mục tiêu của mình, bạn cần truyền phát (các) biểu đồ của mình với các trọng số tương ứng ( https://forum.gephi.org/viewtopic.php?t=1875 ). Để phát trực tuyến , rất có thể bạn sẽ cần trình cắm này : https://marketplace.gephi.org/plugin/graph-streaming .

CẬP NHẬT : Bạn cũng có thể tìm thấy phần mềm SoNIA hữu ích: http://web.stanford.edu/group/sonia .


1
Ý tưởng rất thú vị! Thực sự, hình dung một mạng lưới sâu như mạng xã hội là điều tôi không nghĩ tới. Sự khác biệt chính giữa các mô hình là các biểu đồ này mã thông tin trong các nút của chúng trong khi các mạng thần kinh thực hiện điều đó trong các kết nối của chúng. Nhưng nó có thể được sửa đổi, ví dụ bằng cách đặt các giá trị nút mạng xã hội thành các trọng số kết nối đi của mạng thần kinh.
runDOSrun

Tôi rất vui vì bạn thích ý tưởng đó. Hãy thoải mái upvote / chấp nhận. Và đừng quên xem lại phần mềm SoNIA, với liên kết mà gần đây tôi đã cập nhật câu trả lời của mình. Cuối cùng, nếu bạn sử dụng (hoặc có kế hoạch sử dụng) R, đây là một thông tin thú vị khác có liên quan cho bạn: sna.stanford.edu/rlabs.php .
Alexanderr Blekh
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.