Tôi tin rằng bạn sẽ thích Lý thuyết phân loại: Khảo sát những tiến bộ gần đâybởi Boucheron, Bousquet và Lugosi. Cụ thể, nó bắt đầu bằng cách xây dựng lý thuyết khái quát hóa cơ bản thông qua các phức tạp Rademacher, giới thiệu một số công cụ hữu ích (như nguyên lý co, bằng chứng mà bạn có thể theo dõi trong các ghi chú của Shai & Shai được tham chiếu trong câu trả lời của Ashwinkumar, nhưng (tôi tin?) Bắt nguồn từ cuốn sách xác suất của Ledoux & Talagrand, không miễn phí), và áp dụng những phương pháp này cho các phương pháp phân loại tiêu chuẩn (các máy vectơ hỗ trợ và tăng cường được thảo luận, cả do sự phổ biến của chúng và vì chúng được đào tạo qua ERM). Văn bản này có từ năm 2005, do đó, nó cũng có một số chủ đề gần đây khác mà bạn đã đề cập, ví dụ như Khu phức hợp Rademacher cục bộ, và thậm chí còn có một đầu cắm nhỏ để xâu chuỗi. Cuối cùng, trong khi bản thảo khá ngắn,
Một số chủ đề khác mà bạn đề cập đã đủ tuổi để tham gia "Lý thuyết xác suất nhận dạng mẫu" của Devroye, Györfi và Lugosi (đặc biệt, nó có nhiều chi tiết hơn bất kỳ văn bản nào tôi biết). Mặc dù nó thiếu một số chủ đề mới hơn mà bạn đề cập, đây là một cuốn sách tiêu chuẩn mà mọi người tôi đã gặp trong học tập lý thuyết đã mang trên kệ của họ. Có thể cố gắng xác định vị trí mục lục và chỉ mục cho cuốn sách và xem qua nó.
Một số chủ đề khác mà bạn đề cập tôi chưa thấy được xử lý triệt để trong một cuốn sách, nhưng chúng đã xuất hiện trong một số ghi chú khóa học. Chẳng hạn, nếu bạn truy cập trang của Sham Kakade tại UPenn , bạn sẽ tìm thấy các liên kết đến hai khóa học lý thuyết (một là tại TTI-C, với Ambuj Tewari), và bạn sẽ thấy các liên kết chủ đề khớp với một số điều bạn đã thảo luận , và đã không xuất hiện trong câu trả lời của tôi hoặc ở nơi khác. Có rất nhiều khóa học tốt ở các trường khác nhau; Avrim Blum có những ghi chú tuyệt vời, cực kỳ dễ đọc cho khóa học lý thuyết của anh ấy (phân tích của anh ấy về winnow là ngắn nhất, sạch nhất và trực quan nhất tôi từng thấy!).
Tuy nhiên, một số trong số này có thể hơi quá mới và bạn sẽ phải truy cập tài liệu nguồn. Nhưng nếu bạn thực sự chỉ đang cố gắng chọn một túi kỹ thuật, tôi nghĩ rằng cuộc khảo sát lên hàng đầu và các bài giảng cho một vài lớp học lý thuyết sẽ phục vụ bạn một chặng đường dài.
Ngoài ra, bạn có vẻ như bạn đang tìm kiếm các văn bản nâng cao, nhưng tôi cũng muốn cắm hai văn bản giới thiệu mà mọi người rất thích. Một là "giới thiệu về lý thuyết học tập tính toán", bởi Kearns và (U.) Vazirani, trong khi cũ (ví dụ, việc tăng cường chỉ được trình bày qua cách xây dựng ban đầu của Robert Schapire, và sự nhấn mạnh là học PAC chứ không phải là học thuyết bất khả tri), là trình bày tốt và có trực giác tốt. Cá nhân, tôi đã có được những điều cơ bản của mình trong Giới thiệu về lý thuyết học thống kê , bởi các tác giả tương tự như khảo sát trên (nhưng xuất hiện theo thứ tự Bousquet, Boucheron, Lugosi?); nó có giải thích tốt đẹp và là lần đầu tiên lý thuyết khái quát hóa thực sự bắt đầu nhấp cho tôi.