Định lý gần đúng phổ quát cho các mạng chập

14

Định lý gần đúng phổ quát là một kết quả khá nổi tiếng đối với các mạng thần kinh, về cơ bản nói rằng theo một số giả định, một hàm có thể được xấp xỉ một cách đồng nhất bởi một mạng thần kinh với bất kỳ độ chính xác nào.

Có một số kết quả tương tự áp dụng cho các mạng thần kinh tích chập?

neural-networks conv-neural-network approximation

— Jonas Adler
nguồn

7

Đây là một câu hỏi thú vị, tuy nhiên, nó không có một sự làm rõ thích hợp những gì được coi là một mạng lưới thần kinh tích chập .

Là yêu cầu duy nhất mà mạng phải bao gồm một hoạt động tích chập? Nó có phải chỉ bao gồm các hoạt động tích chập? Là hoạt động gộp được thừa nhận? Các mạng kết hợp được sử dụng trong thực tế sử dụng kết hợp các hoạt động, thường bao gồm các lớp được kết nối đầy đủ (ngay khi bạn có một lớp được kết nối đầy đủ, bạn có khả năng xấp xỉ phổ quát về mặt lý thuyết).

$D$ $K$ $W \in \mathbb R ^{K\times D}$

$K\times D$ $D$ $d$ $k,d$ $W_{k,d}$ $KD$
$K$ $KD$ $kD\ldots(k+1)D$ $k$

Mạng tích chập như vậy mô phỏng một mạng được kết nối đầy đủ và do đó có cùng khả năng xấp xỉ phổ quát. Tùy thuộc vào bạn để xem xét một ví dụ như vậy hữu ích như thế nào trong thực tế, nhưng tôi hy vọng nó trả lời câu hỏi của bạn.

— Jan Kukacka
nguồn

1

Việc xây dựng như vậy là khá rõ ràng, nhưng chỉ giữ với các điều kiện biên không có đệm. Với yêu cầu tự nhiên hơn, ví dụ như các điều kiện biên định kỳ (làm cho phép toán tử dịch tương đương), nó thất bại.

— Jonas Adler

1

Có, việc xây dựng rõ ràng này giả định tích chập chỉ được áp dụng trên đầu vào (không có phần đệm). Như tôi đã nói, trừ khi bạn chỉ định những gì được phép và những gì không theo định nghĩa của bạn về CNN, tôi cho rằng đây là một cách tiếp cận hợp lệ. Ngoài ra, lưu ý rằng ý nghĩa thực tế của UAT hầu như không có, vì vậy tôi không chắc liệu nó có hợp lý quá sâu vào việc này hay không, chỉ định các phiên bản khác nhau của CNN và thể hiện điều tương tự cho từng phiên bản.

— Jan Kukacka

5

Có vẻ như câu hỏi này đã được trả lời trong lời khẳng định trong bài viết gần đây của Dmitry Yarotsky: Các phép tính gần đúng phổ biến của các bản đồ bất biến bởi các mạng lưới thần kinh .

Bài báo cho thấy rằng bất kỳ hàm tương đương dịch thuật nào cũng có thể được xấp xỉ một cách tùy ý bởi một mạng nơ ron tích chập cho rằng nó đủ rộng, tương tự như định lý xấp xỉ phổ quát cổ điển.

— Jonas Adler
nguồn

3

Xem bài báo về tính toàn cầu của mạng nơ ron kết hợp sâu của Đinh-Xuân Chu , người cho thấy mạng nơ ron tích chập là phổ quát, nghĩa là chúng có thể xấp xỉ bất kỳ chức năng liên tục nào với độ chính xác tùy ý khi độ sâu của mạng nơ ron đủ lớn.

— nbro
nguồn

1

Điều này dường như giả sử các điều kiện biên không, vì vậy kết quả sẽ giống như jan-kukacka đã đề cập

— Jonas Adler