Là sức mạnh tính toán của các mạng thần kinh liên quan đến chức năng kích hoạt

Người ta đã chứng minh rằng các mạng thần kinh với trọng số hợp lý có sức mạnh tính toán của tính toán Turing Machine Universal Turing với tính năng Mạng lưới thần kinh . Từ những gì tôi nhận được, dường như việc sử dụng các trọng số có giá trị thực sự mang lại sức mạnh tính toán thậm chí nhiều hơn, mặc dù tôi không chắc chắn về điều này.

Tuy nhiên, có bất kỳ mối tương quan giữa sức mạnh tính toán của mạng lưới thần kinh và chức năng kích hoạt của nó? Ví dụ: nếu chức năng kích hoạt so sánh đầu vào với giới hạn của chuỗi Specker (điều gì đó bạn không thể làm với máy Turing thông thường, phải không?), Điều này có làm cho mạng lưới thần kinh tính toán "mạnh hơn" không? Ai đó có thể chỉ cho tôi một tài liệu tham khảo theo hướng này?

Chỉ cần một lưu ý:

• $NN$

• $NN$

• $NN$

nhưng ...

• $NN$

Tôi sẽ dùng giải pháp dễ dàng và nói "Có". Hãy xem xét một hàm kích hoạt chấp nhận bất kỳ đầu vào nào và chỉ cần trả về một giá trị không đổi (nghĩa là nó bỏ qua các đầu vào). Mạng này luôn dẫn đến một đầu ra không đổi, và do đó, sức mạnh tính toán (có thể theo bất kỳ định nghĩa nào) của mạng này bằng không. Nó không có khả năng tính toán bất cứ điều gì.

Điều này là đủ để hiển thị một mối tương quan giữa chức năng kích hoạt trên sức mạnh của mạng. Tất nhiên, điều đó không cho thấy, cũng không chứng minh rằng một mạng có thể có nhiều sức mạnh hơn một máy turing phổ dụng.