Độ phức tạp truy vấn tính toán của học tập SQ


12

Được biết, đối với việc học PAC, có các lớp khái niệm tự nhiên (ví dụ tập hợp các danh sách quyết định) có các khoảng cách đa thức giữa độ phức tạp mẫu cần cho việc học lý thuyết thông tin của một người học không tính toán và độ phức tạp mẫu cần thiết cho một đa thức- người học thời gian. (xem, ví dụ: http://portal.acm.org/citation.cfm?id=267361&dl=GUIDE hoặc http://portal.acm.org/citation.cfm?id=301437 )

Tuy nhiên, các kết quả này dường như phụ thuộc vào việc mã hóa một bí mật trong các ví dụ cụ thể, và do đó, không tự nhiên chuyển sang mô hình học tập của SQ, nơi người học chỉ cần truy vấn các thuộc tính thống kê của phân phối.

Có biết liệu có tồn tại các lớp khái niệm mà việc học lý thuyết thông tin trong mô hình SQ có thể thực hiện được với các truy vấn O (f (n)) không, nhưng việc học hiệu quả tính toán chỉ có thể với các truy vấn Omega (g (n)) cho g (n) ) >> f (n)?

Câu trả lời:


9

Tôi đã hỏi (bản thân mình) câu hỏi này một lúc trước. Ít nhất là đối với việc học đối với một phân phối cụ thể, có một ví dụ khá đơn giản về một lớp khái niệm là thông tin về mặt lý thuyết có thể học được nhưng rất khó để NP học. Đặt \ phi mã hóa nhị phân của một thể hiện SAT và y là phép gán thỏa mãn từ vựng đầu tiên của nó (hoặc 0 ^ n là thể hiện không thỏa mãn). Bây giờ, hãy để f (\ phi) là một hàm có hơn một nửa tên miền là MAJ (\ phi) và trên nửa sau của miền bằng PAR (y). Ở đây MAJ là hàm đa số trên các biến được đặt thành 1 trong chuỗi \ phi và PAR (y) là hàm chẵn lẻ trên các biến được đặt thành 1 trong chuỗi y. Đặt F là lớp hàm thu được theo cách này. Để SQ học F qua phân phối đồng đều, người ta chỉ cần học đa số (rất dễ) để tìm \ phi và sau đó tìm y. Mặt khác, khá dễ dàng để giảm SAT xuống mức học F của F (với bất kỳ độ chính xác nào lớn hơn đáng kể so với 3/4) so ​​với phân phối đồng đều. Lý do cho điều này, một cách tự nhiên, là các tính chẵn lẻ về cơ bản là "vô hình" đối với các SQ và do đó cần phải giải SAT để học F.


5

Đây là một câu hỏi hay. Sức mạnh của mô hình truy vấn thống kê chính xác là khả năng chứng minh các giới hạn thấp hơn vô điều kiện cho việc học với SQ - ví dụ, tính chẵn lẻ không thể học được với các truy vấn thống kê số đa thức.

Tôi không biết kết quả của mẫu bạn yêu cầu, nhưng có lẽ chúng tôi đang thiếu một cái gì đó rõ ràng ...

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.