Sức mạnh tính toán của mạng nơ ron?

Giả sử chúng ta có một mạng nơ ron chuyển tiếp nguồn cấp một lớp với k đầu vào và một đầu ra. Nó tính toán một hàm từ , khá dễ dàng để thấy rằng điều này có ít nhất sức mạnh tính toán tương tự như . Để giải trí, chúng ta sẽ gọi tập hợp các hàm được tính toán bằng một mạng nơ ron một lớp " ". $\lbrace 0,1\rbrace ^{n}\rightarrow\lbrace 0,1\rbrace$ $AC^0$ $Neural$

Tuy nhiên, dường như nó có thể có sức mạnh tính toán nhiều hơn một mình. $AC^0$

$AC^0 \subseteq Neural$ $Neural = AC^0$

— gabgoh
nguồn

A note on terminology -- important information is how many hidden layers there are. Zero hidden layer neural network with one output is just a linear threshold function, and is often (confusingly) called one layer or two layer neural network/perceptron, depending on whether inputs/outputs are considered layers. Also, in AI literature, neural networks are typically defined in terms of sigmoid functions which means that input/outputs are real valued. One hidden layer networks are known to be universal approximators in a sense that any continuous function can be approximated arbitrarily close

— Yaroslav Bulatov

Có một số tài liệu tham khảo tôi có thể tìm thấy: Tính toán mục đích chung với các mạng thần kinh: Một khảo sát về kết quả lý thuyết phức tạp, 2003 và đếm thứ bậc: thời gian đa thức và mạch độ sâu không đổi, 1993 .

Dường như các mạng thần kinh được coi là mạch ngưỡng; tức là những mạch sử dụng cổng MAJORITY. Trong (2) đó là trường hợp độ sâu $d$ mạng lưới thần kinh có sự phức tạp $TC^0_d$ (đây là một liên kết để liên kết đến mục sở thú phức tạp về $TC^0$ ).

Từ $TC^0$ tranh chấp $ACC^0$ , đó là $AC^0$ với các cổng MOD tùy ý, sau đó $AC^0 \subset TC^0$ . Also, it is mentioned in the zoo that such circuits with depth 3 are strictly more powerful than those of depth 2.

In On the computational power of sigmoid versus Boolean threshold circuits,1991 it is mentioned that for a constant depth $d$ , Boolean and real-valued threshold circuits (with polynomially bounded weights) are essentially the same.

— M. Alaggan
nguồn

Thú vị, cảm ơn. Đây là những gì tôi đang tìm kiếm. Thú vị hơn nữa là

T C^{0}

$TC^0$ có vấn đề hoàn toàn ... hmm ...

— gabgoh