Tính kích thước VC của mạng nơ ron


11

Nếu tôi có một số cấu trúc liên kết không lặp lại (DAG) cố định (tập hợp các nút và cạnh cố định, nhưng thuật toán học có thể thay đổi trọng lượng trên các cạnh) của các nơ-ron sigmoid với nơ-ron đầu vào chỉ có thể lấy chuỗi trong là đầu vào và dẫn đến một đầu ra (đầu ra một giá trị thực mà chúng ta làm tròn lên 1 hoặc xuống -1 nếu đó là một ngưỡng cố định nhất định cách 0). Có cách nào nhanh chóng để tính toán (hoặc gần đúng) kích thước VC của mạng này không?n{1,1}n


Ghi chú

Tôi đã hỏi một cải cách thuật toán chính xác hơn một chút về CS.SE:

Tính toán hiệu quả hoặc xấp xỉ kích thước VC của mạng nơ ron


Chỉ cần làm rõ: bạn có bất kỳ lớp tế bào thần kinh ẩn? Câu hỏi của bạn không xác định rõ ràng liệu bạn có bất kỳ lớp ẩn nào hay không.
Andrew

@Andrew phương thức nên làm việc cho cả hai trường hợp. Vì không có lớp ẩn nào là phân loại tuyến tính, nên việc này là không quan trọng; vì vậy tôi quan tâm nhiều hơn đến trường hợp không tầm thường; giả sử chúng ta có 2+ lớp ẩn (mặc dù phương thức này cũng sẽ hoạt động ít hơn, vì nó dễ hơn).
Artem Kaznatcheev

Câu trả lời:


6

Tôi tình cờ thấy bài viết của bạn trong khi tìm kiếm một công thức chung để tính kích thước VC trên mạng lưới thần kinh, nhưng rõ ràng là không có. Rõ ràng chúng ta chỉ có một hodgepodge của các phương trình VC khác nhau chỉ áp dụng trong một số trường hợp hẹp nhất định. Thận trọng: Tôi dựa trên nghiên cứu cũ mà tôi hầu như không hiểu, về khái niệm Kích thước VC, mà bây giờ tôi mới tìm hiểu. Tuy nhiên, có thể đáng để đọc lướt qua bài viết này của Peter L. Bartlett và Wolfgang Maass 1về khả năng tính toán kích thước của VC. Lưu ý cách chúng đi rất dài để rút ra các công thức VC trong 13 định lý, nhưng mức độ đa dạng và nhiều điều kiện cần thiết cho mỗi định lý. Các điều kiện tiên quyết này bao gồm từ số lượng toán tử trong các hàm kích hoạt đến các kiểu nhảy được phép, số lượng nơ ron và vị trí của chúng, độ sâu bit của đầu vào, v.v.; có rất nhiều trong số các "gotchas" rải rác này đến mức chúng chỉ hiển thị các công thức hữu ích cho các lớp vấn đề hẹp nhất định. Để làm cho vấn đề tồi tệ hơn, họ chỉ ra trong Định lý 5 và 8 rằng các hàm kích hoạt sigmoidal đặc biệt khó tính các số liệu VC. Trên trang 6-7 họ viết:

"Mặc dù kích thước VC của các mạng có chức năng kích hoạt đa thức piecewise đã được hiểu rõ, nhưng hầu hết các ứng dụng của mạng thần kinh đều sử dụng hàm sigmoid logistic hoặc hàm cơ sở xuyên tâm Gaussian. Các phép toán số học được liệt kê trong Định lý 5. Tuy nhiên, Karpinki và Macintyre [Karpinki và Macintyre, 1997] đã mở rộng Định lý 5 để cho phép tính toán hàm mũ. Bằng chứng sử dụng cùng một ý tưởng, nhưng ràng buộc về số lượng các phương trình của một hệ phương trình là khó khăn hơn nhiều. "

Tôi cũng đã xem qua bài báo này với tiêu đề đáng khích lệ là "Giới hạn VC-Kích thước cho Mạng lưới thần kinh: Tiến trình và Triển vọng". 2Rất nhiều toán học đã qua đầu tôi và tôi đã không đọc lướt nó đủ lâu để vượt qua sự thiếu kỹ năng dịch thuật của mình, nhưng tôi nghi ngờ nó không đưa ra bất kỳ giải pháp làm rung chuyển trái đất nào, vì nó có trước phiên bản thứ hai của cuốn sách Bartlett và Maass, người đã trích dẫn một tác phẩm sau đó của cùng các tác giả. Có lẽ nghiên cứu sau này trong 20 năm qua đã cải thiện khả năng tính toán kích thước VC cho mạng lưới thần kinh, nhưng hầu hết các tài liệu tham khảo mà tôi tìm thấy dường như có từ giữa những năm 90; rõ ràng là có một loạt các công việc về chủ đề này sau đó đã chết. Nếu các khả năng không được gia hạn bởi học bổng gần đây vượt xa những gì họ đã ở thập niên 90, thì tôi hy vọng ai đó sẽ sớm đưa ra giải pháp áp dụng rộng rãi hơn để tôi cũng có thể bắt đầu tính toán kích thước VC trên mạng lưới thần kinh của mình. Xin lỗi tôi không thể

1 Bartlett, Peter L. và Maass, Wolfgang, 2003, "Vapnik-Chervonenkis Kích thước của mạng lưới thần kinh," trang 1188-1192 trong Sổ tay lý thuyết não và mạng lưới thần kinh, Arbib, Michael A. ed. Báo chí MIT: Cambridge, Mass.

2 Karpinki, Marek và Macintyre, Angus, 1995, "Giới hạn về kích thước của mạng lưới thần kinh: Tiến bộ và triển vọng", trang 337, 341341 trong Kỷ yếu của Hội nghị châu Âu lần thứ 2 về Lý thuyết học tập tính toán, Barcelona, ​​Tây Ban Nha. Vitanyi, P. ed. Bài giảng trong trí tuệ nhân tạo, số 904. Springer: Berlin.


0

Đây là tác phẩm mới nhất: http://jmlr.org/ con / v20 / 17-612.html .

Về cơ bản, một mạng lưới với trọng lượng, lớp, và kích hoạt relu sau: đối với một số hằng số và .WL

cWLlog(W/L)VCCWLlog(WL)
cC

Với tính hợp lệ của công việc, tôi nghĩ rằng nó mang lại giới hạn tiện dụng. Tuy nhiên, tôi không chắc chắn về độ chặt của giới hạn (và đặc biệt là các hằng số và ) vì tôi chưa đọc hết.cC

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.