Kích thước VC của mô hình hồi quy


12

Trong loạt bài giảng Học từ dữ liệu , giáo sư đề cập rằng kích thước VC đo lường mức độ phức tạp của mô hình về số điểm mà một mô hình nhất định có thể phá vỡ. Vì vậy, điều này hoạt động hoàn toàn tốt cho các mô hình phân loại trong đó chúng ta có thể nói ra khỏi N điểm nếu bộ phân loại có thể phá vỡ k điểm một cách hiệu quả, thước đo kích thước VC sẽ là K. Nhưng tôi không rõ cách đo kích thước VC cho mô hình hồi quy ?


Câu trả lời:


3

Từ các yếu tố của học thống kê , p. 238:

g(x,α)1(g(x,α)β>0)β

Hoặc, (một chút) bằng trực giác, để tìm kích thước VC của một lớp các hàm có giá trị thực, người ta có thể tìm thấy kích thước VC của lớp các hàm chỉ thị có thể được hình thành bằng cách ngưỡng lớp lớp của các hàm có giá trị thực đó.


Nhưng điều này mang lại kích thước VC cho các chỉ số ngưỡng và theo mệnh giá Tôi không thấy cách giới hạn PAC cho các chỉ số ngưỡng cho bạn biết nhiều về hiệu suất của chức năng hồi quy của bạn. Có lẽ bạn có thể đưa ra một đối số trong đó bạn tìm kiếm nhị phân trên giá trị hồi quy (đối với các miền đầu ra bị ràng buộc).
VF1

@ VF1 Đúng. Làm thế nào để giải thích kích thước VC của hàm hồi quy có thể cho một câu hỏi hay, riêng biệt.
Sean Easter

Tôi sẽ đăng một câu hỏi riêng biệt, nhưng tôi tin rằng câu trả lời chỉ đơn giản là "không sử dụng VC dim cho hồi quy", vì Rademacher sẽ cho phép bạn làm nhiều như vậy cho các tổn thất ràng buộc tùy ý.
VF1

@ VF1 Tôi sẽ đọc một câu trả lời với sự quan tâm! Tất cả những gì tôi muốn nói là đề xuất rằng định mức CV là giới hạn các câu hỏi cho một câu hỏi trên mỗi bài đăng và OP không chạm vào giải thích hoặc mục đích.
Sean Easter

0

Xem phần 5.2 của Học thống kê (Vapnik) để biết đạo hàm của chỉ số ngưỡng ngưỡng sử dụng các biện pháp Lebesgue-Stieltjes. AFAIK đây là tài liệu tham khảo duy nhất và dứt khoát. Bạn đã biết nơi để tìm thấy cuốn sách (và những người khác từ Vapnik, tất cả chúng đều là bậc nhất).


1
Nó sẽ giúp nếu bạn có thể tóm tắt các đối số thay vì chỉ cung cấp một tài liệu tham khảo.
mdewey
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.