Định lý gần đúng phổ quát cho các mạng thần kinh có giữ chức năng kích hoạt nào không?

8

Định lý gần đúng phổ quát cho các mạng thần kinh giữ cho bất kỳ chức năng kích hoạt nào (sigmoid, ReLU, Softmax, v.v ...) hay nó bị giới hạn ở các hàm sigmoid?

Cập nhật: Như shimao chỉ ra trong các bình luận, nó không giữ được bất kỳ chức năng nào . Vì vậy, nó giữ cho lớp chức năng kích hoạt nào?

neural-networks approximation

— Skander H.
nguồn

1

Tôi tin rằng nó giữ cho tất cả những người bạn đã liệt kê, nhưng nó không giữ cho bất kỳ chức năng kích hoạt tùy ý nào (xem xét f (x) = 0)

— shimao

Đọc bài báo Cybenko (1989). Hàm phải gọn, tức là cần phải được xác định trên các tập con nhỏ gọn của R ^ n

— Snehanshu Saha

Nếu có nhiều điểm không liên tục, nó cũng có thể được xử lý bằng cách thêm nhiều lớp ẩn. Nó hoạt động cho SBAF là tốt.

— Snehanshu Saha

Điều này rất ít có ý nghĩa, bởi vì mọi hàm được định nghĩa trên

R^{n}

$\mathbb{R}^n$ được định nghĩa trên các tập con nhỏ gọn của nó!

— whuber

7

Các bài viết wikipedia có một tuyên bố chính thức.

Hãy $\varphi$ là một nonconstant, giáp, và chức năng liên tục.

— Matthew Drury
nguồn

8

Điều đó bao gồm sigmoid và softmax nhưng không phải ReLU. Theo tài liệu này , tài sản cũng giữ cho một số chức năng không bị ràng buộc như ReLU cũng như những người khác.

— jodag

3

Mạng đa cấp feedforward là một tài liệu tham khảo được công bố giải quyết vấn đề. Các hàm kích hoạt đa thức không có thuộc tính xấp xỉ phổ quát.

Bản in lại NN với các chức năng kích hoạt không giới hạn bao gồm nhiều chức năng kích hoạt. Nó chỉ nhìn vào lớp NN ẩn. Nó nặng về phân tích Fourier.

Tôi nhấn mạnh rằng tài liệu tham khảo thứ hai là bản in trước vì tôi không thể đảm bảo tính chính xác của nó. Leshno et alt 1993 là một ấn phẩm được xem xét.

— VictorZurkowski
nguồn

2

$L^P(\mu)$ $\mu$ http://zmjones.com/static/statistic-learning/hornik-nn-1991.pdf

— nhà toán học
nguồn