Thuật toán mô hình truy vấn thống kê?

Tôi đã hỏi câu hỏi này trong hỏi đáp được xác thực chéo nhưng dường như nó có liên quan đến CS nhiều hơn Thống kê.

Bạn có thể cho tôi ví dụ về các thuật toán học máy học từ các thuộc tính thống kê của tập dữ liệu không phải là các quan sát riêng lẻ, ví dụ như sử dụng mô hình truy vấn thống kê ?

Hầu như mọi thuật toán hoạt động trong mô hình PAC (ngoại trừ thuật toán học chẵn lẻ) đều có thể được thực hiện để hoạt động trong mô hình SQ. Xem ví dụ bài báo này của Blum et al. trong đó một số thuật toán phổ biến được dịch sang tương đương SQ của chúng ( Quyền riêng tư thực tế: khung SuLQ ). Bài viết về nguyên tắc liên quan đến "quyền riêng tư", nhưng bạn có thể bỏ qua điều đó - nó thực sự chỉ là thực hiện các thuật toán với các truy vấn SQ.

Mặt khác, việc học theo thuyết bất khả tri khó hơn nhiều trong mô hình SQ: các vấn đề tính toán sang một bên (mặc dù điều này rất quan trọng), độ phức tạp mẫu cần cho việc học bất khả tri gần giống như yêu cầu cho việc học chính xác, nếu bạn thực sự có quyền truy cập vào các điểm dữ liệu. Mặt khác, việc học bất khả tri trở nên khó khăn hơn nhiều trong mô hình SQ - bạn thường sẽ cần thực hiện nhiều truy vấn đa phương thức, ngay cả đối với các lớp đơn giản như các phân biệt đơn điệu. Xem bài viết này của Feldman ( Một đặc tính hoàn chỉnh của việc học truy vấn thống kê với các ứng dụng để có thể tiến hóa ) hoặc bài báo gần đây của Gupta et al. ( Phát hành riêng tư các liên kết và hàng rào truy vấn thống kê )

Mô hình SQ được tạo ra để phân tích khả năng chịu tiếng ồn - cụ thể là thuật toán hoạt động bằng cách thực hiện các truy vấn thống kê sẽ hoạt động theo tiếng ồn phân loại. Như Aaron đã nói, hầu hết các thuật toán PAC mà chúng tôi đã tạo ra có tương đương trong mô hình SQ. Một ngoại lệ là loại bỏ Gaussian, được sử dụng trong học tập chẵn lẻ (người ta thậm chí có thể sử dụng một ứng dụng thông minh của nóđể tìm hiểu các kích thước log (n) loglog (n) trong mô hình nhiễu phân loại). Chúng ta cũng biết rằng các chẵn lẻ không thể học được bằng các truy vấn thống kê và hóa ra hầu hết các lớp thú vị như cây quyết định có thể mô phỏng các hàm chẵn lẻ. Vì vậy, trong nỗ lực của chúng tôi để có được thuật toán học PAC cho nhiều lớp thú vị (như cây quyết định, DNF, v.v.), chúng tôi biết rằng chúng tôi cần các thuật toán học mới về cơ bản không hoạt động trong mô hình truy vấn thống kê.

Tôi muốn làm rõ phản ứng của Aaron một chút. Gần như mọi thuật toán bất khả tri (một lần nữa, ngoại trừ mọi thứ sử dụng loại bỏ Gaussian) đều có thể được thực hiện để hoạt động trong mô hình SQ. Đương nhiên, học bất khả tri khó hơn học không theo thuyết bất khả tri, nhưng đây là một câu hỏi độc lập.