Khoảng cách theo cấp số nhân trên các lớp mạng thần kinh

Tôi đọc nó ở đây rằng có những gia đình chức năng mà cần các nút trên mạng nơron với ít nhất lớp để đại diện cho các chức năng trong khi nhu cầu chỉ nếu mạng thần kinh có ít nhất lớp. Nó được đề cập đến một bài báo của Hastad. Tôi đã không tìm thấy nó. Ai đó có thể cho tôi biết tiêu đề của bài báo? Tôi nghĩ rằng đây là một kết quả lý thuyết thực sự hấp dẫn. $\mathcal{O}(2^n)$ $d - 1$ $\mathcal{O}(n)$ $d$

cc.complexity-theory reference-request

— jakab922
nguồn

tài liệu tham khảo mà bạn trích dẫn đã chứng minh rằng nó đã được chứng minh cho các cổng logic, tế bào thần kinh chính thức và RBF, và dường như nói rằng Hastad đã chứng minh kết quả này cho RBF (cơ sở xuyên tâm, "trường hợp sau").

— vzn

có thể có một số sự trao tay đang diễn ra ở đây, sự phức tạp của NN dường như ít nhất là khó khăn như sự phức tạp của mạch (nhưng chưa thấy điều đó đã được chứng minh) vẫn còn nhiều vấn đề mở. ở đâu đó câu hỏi này được đưa ra bởi trận đấu liên quan đến se có liên quan, sức mạnh tính toán của các mạng thần kinh tcs.se (ps, thật tuyệt khi thấy một số câu hỏi về học sâu ở đây & lĩnh vực ít nhất là liên kết với TCS)

— vzn

Câu trả lời:

Bài báo mà mọi người thường trích dẫn là Giới hạn gần như tối ưu cho các mạch có độ sâu nhỏ , xuất hiện trong STOC 1986. Kết quả chính liên quan đến câu hỏi của bạn là:

Tồn tại một họ các hàm thừa nhận kích thước tuyến tính, độ sâu mạch(của quạt không giới hạn AND / OR và KHÔNG) yêu cầu kích thước theo cấp số nhân ở độ sâu . $k$ $k-1$

Điều có thể thậm chí còn phù hợp hơn là thực tế là thừa nhận sự phân chia theo cấp số nhân giữa độ sâu 3 và độ sâu 2 $\mathsf{TC}^0$ . Điều này có liên quan vì cổng ngưỡng thường được sử dụng trong các mạng sâu.

— Suresh Venkat
nguồn

có thể điều này được trích dẫn trong nghiên cứu mạng thần kinh bởi một số người & thấy sự tương tự cơ bản nhưng nó có zilch thực tế / tham chiếu trực tiếp đến các mạng lưới thần kinh. để điền vào nó, một ref sử dụng chính thức các kết quả của bài báo này trong khuôn khổ của mạng lưới thần kinh sẽ có giá trị, nếu một ref đó thậm chí còn tồn tại.

— vzn

Nó thường được trích dẫn là trực giác cho lý do tại sao độ sâu là quan trọng. Tôi nghĩ đó là một cách sử dụng hợp pháp. Tuy nhiên, đó không phải là ví dụ duy nhất về độ sâu lớn hơn mạnh hơn.

— Suresh Venkat

@SureshVenkat Có đánh giá / giải thích hiện đại hơn về kết quả của Hastad ở trên không? (Tôi có thể thấy các bài viết mới về PARITY không phải bằng chứng AC ^ 0 nhưng không phải về kết quả đặc biệt khác này trong bài viết)

— từ

Theo nghĩa đen, vấn đề phân tách theo cấp số nhân các mạng lưới thần kinh có độ sâu d từ độ sâu d-1, đối với tất cả d, là mở, theo sự hiểu biết tốt nhất của tôi. Ví dụ, khi "các hàm kích hoạt" của bạn là các hàm ngưỡng tuyến tính, nó sẽ mở xem liệu tất cả các lưới của tất cả các độ sâu d có thể được mô phỏng hay không, với sự gia tăng kích thước đa thức, ở độ sâu 3.

— Ryan Williams
nguồn

Bạn có một mô hình tổng quát về mạng lưới thần kinh trong tâm trí hơn

hoặc các tri giác được đề cập trong hai câu trả lời khác không?

{T C}^{0}

$\mathsf{TC}^0$

— András Salamon

Vâng, tôi đang nói về các mạch bao gồm các hàm ngưỡng tuyến tính có độ sâu không đổi. Đó không phải là tổng quát hơn

có độ sâu không đổi, tuy nhiên bạn cần độ sâu không đổi lớn hơn để mô phỏng các hàm ngưỡng tuyến tính với

. Xem Goldmann, Hastad, Razborov citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.6.1336

T C^{0}

$TC^0$

T C^{0}

$TC^0$

— Ryan Williams

R^{n} \to R

$\mathbb{R}^n \rightarrow \mathbb{R}$

Đọc nội dung được liên kết trong câu hỏi, không có gì được đề cập về việc giới hạn các chức năng của biểu mẫu đó cũng như các chức năng kích hoạt bị hạn chế đối với ReLU.

— Ryan Williams

R^{n} \to R

$\mathbb{R}^n \rightarrow \mathbb{R}$

$d$ $d+1$

$\mathsf{PP}^{\mathsf{PH}}$

Perceptionron thường được gọi là một mô hình cho các mạng thần kinh. Các tác giả là sinh viên của Johan Håstad, vì vậy đây có thể là tài liệu tham khảo mà bạn đang tìm kiếm.

— Jan Johannsen
nguồn