Lấy mẫu Agnellect PAC giới hạn dưới

Điều nổi tiếng là đối với việc học PAC cổ điển, các ví dụ là cần thiết để đạt được một lỗi liên quan đến whp, trong đó là chiều VC của lớp khái niệm. $\Omega(d/\varepsilon)$ $\varepsilon$ $d$

Được biết rằng các ví dụ là cần thiết trong trường hợp bất khả tri? $\Omega(d/\varepsilon^2)$

lg.learning machine-learning

— Aryeh
nguồn

Tôi không chắc ràng giới hạn dưới trông như thế nào, người ta nên tồn tại nếu giới hạn Hoefding chặt chẽ (và tôi nghĩ là vậy). Điều này ràng buộc rằng với 1 fn, nếu xác suất xảy ra lỗi là p, thì bạn cần tối đa các mẫu để ước tính p trong phạm vi lỗi + - whp Vì vậy, hãy xem xét bất kỳ lớp khái niệm nào với 2 khái niệm, và và VC-chiều 2. Lấy phân phối trên các ví dụ sao cho (hoặc ngược lại) - điều này có thể xảy ra vì kích thước VC là 2. Có vẻ như thuật toán chỉ sử dụng ví dụ sẽ ngụ ý ràng buộc Hoefding được cải thiện.

m = O (1 / ϵ^{2})

$m = O(1/\epsilon^2)$

ϵ

$\epsilon$

f_{1}

$f_1$

f_{2}

$f_2$

p_{1} = p_{2} + ϵ

$p_1 = p_2 + \epsilon$

O (1 / ϵ)

$O(1/\epsilon)$

— Aaron Roth

Cụ thể, tôi nghĩ ràng buộc Hoeffding chặt chẽ với cho . Tôi nghĩ lý do trên thường được biết đến ...

p = 1 / 2

$p=1/2$

O (1 / ϵ^{2})

$O(1/\epsilon^2)$

— Lev Reyzin

OK - có vẻ như tôi đã có cho mình một bài tập khác cho khóa ML ... :) Cảm ơn bạn đã nhập, Aaron và Lev!

— Aryeh

@Aaron, có lẽ đây nên là một câu trả lời.

— Suresh Venkat

Bây giờ tôi nhận ra rằng một giới hạn thấp hơn đã thực sự được thiết lập bởi Anthony và Bartlett (xem phần trình bày ở đây ).

Chỉnh sửa ngày 24 tháng 9 năm 2018. Câu hỏi này đã khiến tôi chiếm giữ tất cả những năm này, và gần đây, I. Pinelis và tôi đã thu được hằng số tối ưu chính xác trong PAC bất khả tri bị ràng buộc thấp hơn xuất hiện trong Ann. Stat .

— Aryeh
nguồn

Trong bài viết của bạn, bạn không trích dẫn tác phẩm này ( jmlr.org/ con / volume17 / 15-389/15-389.pdf ). Có tối ưu độ phức tạp mẫu tối ưu trong trường hợp có thể thực hiện không liên quan đến công việc của bạn? Là những giới hạn phức tạp mẫu tối ưu tương ứng được biết đến trong trường hợp bất khả tri?

— tốt nghiệp

Tôi không nghĩ trường hợp có thể thực hiện được là tất cả những gì liên quan. Trong trường hợp có thể thực hiện được, ERM không đảm bảo mức giá tối ưu - do đó, tất cả những công việc khó khăn mà Hanneke và những người khác đã phải bỏ ra để loại bỏ yếu tố nhật ký, và vẫn chưa biết liệu một người học thích hợp có thể đạt được tỷ lệ tối ưu hay không. Ngược lại, trong trường hợp bất khả tri, từ lâu, ERM đã đạt được tỷ lệ tối ưu.

— Aryeh