Tại sao các mạng thần kinh dường như hoạt động tốt hơn với các hạn chế được đặt trên cấu trúc liên kết của chúng?

Kết nối đầy đủ (ít nhất là lớp này sang lớp khác với hơn 2 lớp ẩn) mạng backprop là những người học phổ quát. Thật không may, chúng thường chậm học và có xu hướng quá phù hợp hoặc có những khái quát vụng về.

Từ việc đánh lừa các mạng này, tôi đã quan sát thấy việc cắt tỉa một số cạnh (để trọng lượng của chúng bằng 0 và không thể thay đổi) có xu hướng làm cho các mạng học nhanh hơn và khái quát hóa tốt hơn. Có một lý do cho điều này? Có phải chỉ vì sự giảm chiều của không gian tìm kiếm trọng lượng, hay có một lý do tinh tế hơn?

Ngoài ra, việc khái quát hóa tốt hơn có phải là một tạo tác của các vấn đề 'tự nhiên' mà tôi đang xem xét không?

Ít nút / cạnh (hoặc cạnh có trọng lượng cố định) có nghĩa là có ít tham số hơn mà giá trị của chúng cần được tìm thấy và điều này thường làm giảm thời gian tìm hiểu. Ngoài ra, khi có ít tham số hơn, không gian có thể được biểu thị bởi mạng nơ ron có ít kích thước hơn, vì vậy mạng thần kinh chỉ có thể biểu thị các mô hình tổng quát hơn. Do đó, nó ít có khả năng phù hợp với dữ liệu quá mức, và do đó các mô hình sẽ có vẻ tổng quát hơn.

Bằng cách cắt tỉa các cạnh, bạn đã giảm không gian tìm kiếm cho thuật toán đào tạo, sẽ có hiệu quả ngay lập tức về hiệu suất thời gian. Bạn cũng đã giới thiệu các ràng buộc về các chức năng mà mạng có thể mô hình hóa. Các ràng buộc có thể buộc mô hình của bạn tìm một giải pháp tổng quát hơn vì không thể truy cập chính xác hơn. Một kỹ thuật phổ biến để đào tạo mạng lưới thần kinh là sử dụng kỹ thuật giảm độ dốc. Một hậu quả khác của việc cắt tỉa có thể là bạn đã loại bỏ một số cực tiểu cục bộ trong cảnh quan tham số cho phép thuật toán đào tạo tìm ra giải pháp tốt hơn.

Tôi sẽ không ngạc nhiên nếu sự khái quát tốt hơn của bạn có liên quan đến các vấn đề bạn đang xem xét. Tôi đã rất thành công với các mạng thần kinh nơi mô hình cơ bản có cấu trúc liên tục, trong khi các trường hợp có sự không liên tục thì mọi thứ không hoạt động tốt như vậy. Cũng nên nhớ rằng hiệu suất mạng thần kinh thường liên quan mật thiết đến cách bạn cấu trúc đầu vào và đầu ra.