Tính toán hiệu quả hoặc xấp xỉ kích thước VC của mạng thần kinh

Mục tiêu của tôi là giải quyết vấn đề sau, mà tôi đã mô tả bằng đầu vào và đầu ra của nó:

Đầu vào:

Một đồ thị chu kỳ có hướng với nút, nguồn và chìm ( ).$G$$m$$n$$1$$m > n \geq 1$

Đầu ra:

Các VC-chiều (hoặc một xấp xỉ của nó) cho mạng thần kinh với topo .$G$

Cụ thể hơn :

• Mỗi nút trong là một nơron sigmoid. Cấu trúc liên kết là cố định, nhưng trọng số trên các cạnh có thể được thay đổi bằng thuật toán học tập.$G$
• Các thuật toán học tập là cố định (nói ngược truyền).
• Các nút nguồn là các nơ ron đầu vào và chỉ có thể lấy các chuỗi từ làm đầu vào.$n$$\{-1,1\}^n$
• Nút chìm là đơn vị đầu ra. Nó xuất ra một giá trị thực từ mà chúng ta làm tròn lên hoặc xuống nếu nó vượt quá một ngưỡng cố định nhất định cách .$[-1,1]$$1$$-1$$\delta$$0$

Cách tiếp cận ngây thơ chỉ đơn giản là cố gắng phá vỡ càng nhiều điểm, bằng cách cố gắng đào tạo mạng lưới trên chúng. Tuy nhiên, cách tiếp cận mô phỏng này không hiệu quả.

Câu hỏi

Có cách nào hiệu quả (tức là trong khi thay đổi thành vấn đề quyết định: kích thước VC có nhỏ hơn tham số đầu vào không?) Để tính toán hàm này? Nếu không, có kết quả độ cứng?$\mathsf{P}$$k$

Có cách nào hiệu quả trong thực tế để tính toán hoặc tính gần đúng chức năng này không? Nếu nó là một xấp xỉ, có đảm bảo nào về độ chính xác của nó không?

Ghi chú

Tôi đã hỏi một câu hỏi tương tự trên stats.SE nhưng nó không tạo ra hứng thú.

Nếu bạn sẵn sàng hạn chế vấn đề hơn nữa bằng cách để mạng được xếp lớp, thì "Machine Learning" của Tom Mitchell đưa ra giới hạn trên của ( ) (phần 7.4.4) trong đó là số nút nội bộ (phải cao hơn 2), là kích thước VC của các nút riêng lẻ và là cơ sở của logarit tự nhiên. Nếu bạn đang bị ràng buộc về số lượng ví dụ đào tạo thì thông tin này sẽ là đủ.s d $2ds \log(es)$$s$$d$$e$

Đây không hoàn toàn là một câu trả lời cho câu hỏi của bạn, nhưng nó có thể giúp bạn trên đường đi. Kết quả là do Baum và Haussler (1989).