Tôi tình cờ thấy bài viết của bạn trong khi tìm kiếm một công thức chung để tính kích thước VC trên mạng lưới thần kinh, nhưng rõ ràng là không có. Rõ ràng chúng ta chỉ có một hodgepodge của các phương trình VC khác nhau chỉ áp dụng trong một số trường hợp hẹp nhất định. Thận trọng: Tôi dựa trên nghiên cứu cũ mà tôi hầu như không hiểu, về khái niệm Kích thước VC, mà bây giờ tôi mới tìm hiểu. Tuy nhiên, có thể đáng để đọc lướt qua bài viết này của Peter L. Bartlett và Wolfgang Maass 1về khả năng tính toán kích thước của VC. Lưu ý cách chúng đi rất dài để rút ra các công thức VC trong 13 định lý, nhưng mức độ đa dạng và nhiều điều kiện cần thiết cho mỗi định lý. Các điều kiện tiên quyết này bao gồm từ số lượng toán tử trong các hàm kích hoạt đến các kiểu nhảy được phép, số lượng nơ ron và vị trí của chúng, độ sâu bit của đầu vào, v.v.; có rất nhiều trong số các "gotchas" rải rác này đến mức chúng chỉ hiển thị các công thức hữu ích cho các lớp vấn đề hẹp nhất định. Để làm cho vấn đề tồi tệ hơn, họ chỉ ra trong Định lý 5 và 8 rằng các hàm kích hoạt sigmoidal đặc biệt khó tính các số liệu VC. Trên trang 6-7 họ viết:
"Mặc dù kích thước VC của các mạng có chức năng kích hoạt đa thức piecewise đã được hiểu rõ, nhưng hầu hết các ứng dụng của mạng thần kinh đều sử dụng hàm sigmoid logistic hoặc hàm cơ sở xuyên tâm Gaussian. Các phép toán số học được liệt kê trong Định lý 5. Tuy nhiên, Karpinki và Macintyre [Karpinki và Macintyre, 1997] đã mở rộng Định lý 5 để cho phép tính toán hàm mũ. Bằng chứng sử dụng cùng một ý tưởng, nhưng ràng buộc về số lượng các phương trình của một hệ phương trình là khó khăn hơn nhiều. "
Tôi cũng đã xem qua bài báo này với tiêu đề đáng khích lệ là "Giới hạn VC-Kích thước cho Mạng lưới thần kinh: Tiến trình và Triển vọng". 2Rất nhiều toán học đã qua đầu tôi và tôi đã không đọc lướt nó đủ lâu để vượt qua sự thiếu kỹ năng dịch thuật của mình, nhưng tôi nghi ngờ nó không đưa ra bất kỳ giải pháp làm rung chuyển trái đất nào, vì nó có trước phiên bản thứ hai của cuốn sách Bartlett và Maass, người đã trích dẫn một tác phẩm sau đó của cùng các tác giả. Có lẽ nghiên cứu sau này trong 20 năm qua đã cải thiện khả năng tính toán kích thước VC cho mạng lưới thần kinh, nhưng hầu hết các tài liệu tham khảo mà tôi tìm thấy dường như có từ giữa những năm 90; rõ ràng là có một loạt các công việc về chủ đề này sau đó đã chết. Nếu các khả năng không được gia hạn bởi học bổng gần đây vượt xa những gì họ đã ở thập niên 90, thì tôi hy vọng ai đó sẽ sớm đưa ra giải pháp áp dụng rộng rãi hơn để tôi cũng có thể bắt đầu tính toán kích thước VC trên mạng lưới thần kinh của mình. Xin lỗi tôi không thể
1 Bartlett, Peter L. và Maass, Wolfgang, 2003, "Vapnik-Chervonenkis Kích thước của mạng lưới thần kinh," trang 1188-1192 trong Sổ tay lý thuyết não và mạng lưới thần kinh, Arbib, Michael A. ed. Báo chí MIT: Cambridge, Mass.
2 Karpinki, Marek và Macintyre, Angus, 1995, "Giới hạn về kích thước của mạng lưới thần kinh: Tiến bộ và triển vọng", trang 337, 341341 trong Kỷ yếu của Hội nghị châu Âu lần thứ 2 về Lý thuyết học tập tính toán, Barcelona, Tây Ban Nha. Vitanyi, P. ed. Bài giảng trong trí tuệ nhân tạo, số 904. Springer: Berlin.