Một câu hỏi học tập chẵn lẻ

Chúng ta hãy định nghĩa một lớp các hàm trên một tập hợp bit. Khắc phục hai bản phân phối "hợp lý" khác nhau (nếu bạn thích, khoảng cách thay đổi của chúng ít nhất là hoặc một cái gì đó tương tự).p , q $n$$p, q$$\epsilon$

Bây giờ mỗi hàm trong lớp này được xác định bởi một tập hợp chỉ số và được ước tính như sau: Nếu tính chẵn lẻ của các bit được chọn là 0, trả về một mẫu ngẫu nhiên từ , nếu không thì trả về một mẫu ngẫu nhiên từ .k S p $f$$k$$S$$p$$q$

Vấn đề : Giả sử tôi được cấp quyền truy cập vào một số từ lớp này và trong khi tôi biết (hoặc một số thước đo khoảng cách khác), tôi không biết và .ϵ p $f$$\epsilon$$p$$q$

Có giới hạn nào về số lượng cuộc gọi tôi cần thực hiện cho PAC-learn không? Có lẽ câu trả lời của tôi sẽ là về và .n , k $f$$n, k$$\epsilon$

Lưu ý : Tôi không chỉ định miền đầu ra. Một lần nữa, tôi linh hoạt, nhưng bây giờ hãy nói rằng và được xác định trên một miền hữu hạn . Nói chung, tôi cũng quan tâm đến trường hợp khi chúng được định nghĩa trên (ví dụ: nếu chúng là Gaussian)q [ 1 .. M ] $p$$q$$[1..M]$${\mathbb R}$

Các cuộc thảo luận trong các ý kiến ​​dưới đây cho thấy rằng tôi đã hiểu sai câu hỏi. Câu trả lời của tôi là tiền đề trên Oracle tham gia không có đầu vào và trở về nơi hoặc , tùy thuộc vào . Đây rõ ràng không phải là những gì đang được hỏi.x ∼ p x ∼ q f ∈ $(x, f(x))$$x \sim p$$x \sim q$$f \in F$

Vì phân phối mục tiêu được cố định cho mọi mục tiêu , nên áp dụng giới hạn trên của mẫu PAC (điều này xuất phát từ thực tế là phân phối mục tiêu cho ràng buộc này thậm chí có thể hoàn toàn phụ thuộc vào ). Do đó, ví dụ nên đủ để tìm một giả thuyết về lỗi wp . Lưu ý - sau khi xem các ví dụ này, người ta cần tìm một giả thuyết nhất quán từ , và điều này có thể không thể thực hiện được.f * m ≤ ~ O ( $f^* \in F$$f^*$≤ε≥1-δ

Mặt khác, người ta có thể có được một giới hạn gần như khớp hoàn toàn ngay cả đối với trường hợp , phân phối đồng đều, trong đó các ví dụ vẫn được yêu cầu (điều này có thể được cải thiện một chút).m ≥ Ω ( V C ( F ) $p=q=U$$m \ge \Omega(\mathrm{VC}(F))$

Khoảng cách thay đổi giữa và , cũng như có thể đóng một vai trò trong khoảng cách nhỏ giữa các giới hạn này, nhưng tôi nghi ngờ điều đó.q $p$$q$$k$