Nó khá trực quan mà hầu hết các cấu trúc / cấu trúc mạng thần kinh không thể xác định được. Nhưng một số kết quả nổi tiếng trong lĩnh vực này là gì? Có những điều kiện đơn giản cho phép / ngăn chặn nhận dạng? Ví dụ,

• tất cả các mạng có chức năng kích hoạt phi tuyến và nhiều hơn một lớp ẩn không thể nhận dạng được
• tất cả các mạng có nhiều hơn hai đơn vị ẩn không thể nhận dạng được

Hoặc những thứ như thế này. LƯU Ý : Tôi không nói rằng những điều kiện này ngăn cản sự nhận dạng (mặc dù chúng có vẻ là ứng cử viên khá tốt đối với tôi). Chúng chỉ là ví dụ về những gì tôi muốn nói với "điều kiện đơn giản".

Nếu nó giúp thu hẹp câu hỏi, vui lòng chỉ xem xét các kiến ​​trúc chuyển tiếp và lặp lại. Nếu điều này vẫn chưa đủ, tôi sẽ hài lòng với câu trả lời bao gồm ít nhất một kiến ​​trúc giữa MLP, CNN và RNN. Tôi đã có một cái nhìn nhanh trên Web nhưng có vẻ như cuộc thảo luận duy nhất tôi có thể tìm thấy là trên Reddit. Thôi nào mọi người, chúng ta có thể làm tốt hơn Reddit ;-)

FFN tuyến tính, một lớp không được xác định

Câu hỏi như đã được chỉnh sửa để loại trừ trường hợp này; Tôi giữ nó ở đây vì hiểu trường hợp tuyến tính là một ví dụ đơn giản về hiện tượng quan tâm.

Hãy xem xét một mạng lưới thần kinh feedforward với 1 lớp ẩn và tất cả các kích hoạt tuyến tính. Nhiệm vụ này là một nhiệm vụ hồi quy OLS đơn giản.

Vậy ta có mô hình và mục tiêu là $\hat{y}=X A B$

cho một số lựa chọn của có hình dạng phù hợp. là các trọng số đầu vào-ẩn và là các trọng số ẩn-đầu ra.$A, B$$A$$B$

Rõ ràng các yếu tố của ma trận trọng số nói chung không thể xác định được, vì có bất kỳ số lượng cấu hình có thể có mà hai cặp ma trận có cùng một sản phẩm.$A,B$

FFN phi tuyến, một lớp vẫn chưa được xác định

Xây dựng từ FFN tuyến tính, một lớp, chúng ta cũng có thể quan sát tính không thể nhận dạng trong FFN một lớp, phi tuyến .

Như một ví dụ, thêm một phi tuyến với bất kỳ kích hoạt tuyến tính tạo ra một mạng lưới phi tuyến. Mạng này vẫn chưa được xác định, bởi vì đối với bất kỳ giá trị tổn thất nào, một hoán vị trọng lượng của hai (hoặc nhiều) nơ-ron ở một lớp và các nơ-ron tương ứng của chúng ở lớp tiếp theo cũng sẽ dẫn đến cùng một giá trị mất.$\tanh$

Nói chung, mạng lưới thần kinh là không xác định

Chúng ta có thể sử dụng cùng một lý do để chỉ ra rằng các mạng thần kinh không được xác định trong tất cả các tham số nhưng rất đặc biệt.

Ví dụ, không có lý do cụ thể nào mà bộ lọc tích chập phải xảy ra theo bất kỳ thứ tự cụ thể nào. Cũng không yêu cầu các bộ lọc tích chập có bất kỳ dấu hiệu cụ thể nào, vì các trọng số tiếp theo có thể có dấu hiệu ngược lại để "đảo ngược" lựa chọn đó.

Tương tự như vậy, các đơn vị trong RNN có thể được thẩm thấu để có được cùng một tổn thất.

Xem thêm: Chúng ta có thể sử dụng MLE để ước tính trọng lượng Mạng thần kinh không?

Có ít nhấttối ưu toàn cầu khi lắp mạng lưới thần kinh 1 lớp, cấu thành từ nơ-ron. Điều này xuất phát từ thực tế rằng, nếu bạn trao đổi hai nơ-ron ở một mức độ cụ thể, và sau đó bạn trao đổi các trọng số quy cho các nơ-ron này ở cấp độ tiếp theo, bạn sẽ có được sự phù hợp chính xác.$n!$$n$