Học tập bất khả tri trên các phân phối tùy ý

Đặt là phân phối trên các cặp bit / chuỗi và đặt là tập hợp các hàm có giá trị boolean . Với mỗi hàm số , hãy: $D$ $\{0,1\}^d\times \{0,1\}$ $C$ $f:\{0,1\}^d\rightarrow\{0,1\}$ $f \in C$ và để: Nói rằng một thuật toánagnostically nghe tintrên bất kỳ phân phối, nếu vì bất kỳnó có thể với xác suấttìm một hàmnhư vậy mà

e r r (f, D) = \underset{(x, y) \sim D}{Pr} [f (x) \neq y]

$err(f,D) = \Pr_{(x,y) \sim D}[f(x) \neq y]$

O P T (C, D) = min_{f \in C} e r r (f, D)

$OPT(C,D) = \min_{f \in C}\ err(f,D)$

A

$A$

C

$C$

D

$D$

2 / 3

$2/3$

f

$f$

, thời gian nhất định và một số mẫu từ

được giới hạn bởi một đa thức trong

và

e r r (f, D) \leq O P T (C, D) + ϵ

$err(f,D) \leq OPT(C,D) + \epsilon$

D

$D$

d

$d$

1 / ϵ

$1/\epsilon$

Câu hỏi: Những lớp chức năng nào được biết là có thể học được trên các phân phối tùy ý? $C$

Không có lớp học là quá đơn giản! Tôi biết rằng ngay cả các liên kết đơn điệu không được biết là có thể học được qua các phân phối tùy ý, vì vậy tôi chỉ tìm kiếm các lớp chức năng không cần thiết.

reference-request machine-learning lg.learning

— Aaron
nguồn

đáng để chỉ ra cho người không quen biết rằng việc học theo thuyết bất khả tri tập trung vào trường hợp khi OPT (C, D)> 0 (tức là bạn có lớp giả thuyết sai

— Suresh Venkat

Điểm tốt. Trong trường hợp đặc biệt khi OPT (C, D) = 0, đây là cách học PAC và dễ dàng hơn nhiều. Đối với việc học theo thuyết bất khả tri, bảo đảm phải được giữ cho dù OPT (C, D) là gì.

— Aaron Roth

Ngoài ra còn có trường hợp "PAC w / Phân loại tiếng ồn" trong đó OPT (C, D)> 0 và mặc dù bạn có lớp giả thuyết đúng (cài đặt có thể thực hiện được) có một số lỗi do các nhãn bị lật ngẫu nhiên do nhiễu ... Tôi muốn tên của các cài đặt khác nhau ít gây nhầm lẫn.

— Lev Reyzin

nghe có vẻ như học bất khả tri với giới hạn trên của OPT (C, D)

— Suresh Venkat

Không hoàn toàn, vì tiếng ồn không được phép tùy ý trong mô hình nhiễu phân loại. Vì vậy, nếu có một số mẫu nhiễu đối nghịch làm cho việc học (hoặc tìm ra công cụ giảm thiểu rủi ro theo kinh nghiệm) khó khăn trong mô hình bất khả tri, thì nó có thể không xảy ra thường xuyên trong mô hình nhiễu phân loại (nghĩa là rơi vào tham số delta PAC).

— Lev Reyzin

Nếu không có lớp nào quá đơn giản, thì đây là một số lớp có thể học PAC. Đáp lại các bình luận, các lớp có nhiều giả thuyết được đưa ra:

~~cây quyết định độ sâu không đổi (và các lớp khác chỉ có nhiều giả thuyết)~~
~~$R^2$ $O(n^2)$~~
hiệp hội của các khoảng (lập trình động)
$\log(k)\log\log(k)$ $n$
~~các lớp giả thuyết khác trong cài đặt chiều thấp.~~

Khá nhiều thứ khác là NP-Hard để (ít nhất là đúng) PAC học hỏi.

Hướng dẫn của Adam Kalai về học tập bất khả tri cũng có thể khiến bạn quan tâm.

— Lev Reyzin
nguồn

Cảm ơn. Vì vậy, các cây quyết định độ sâu không đổi, siêu phẳng 2 chiều, (tôi giả sử các cài đặt chiều thấp khác mà bạn đề cập) đều thuộc loại chỉ có nhiều hàm đa thức, có thể học được do kiệt sức. Các chẵn lẻ trên các bit loglog (k) loglog (k) và các hiệp của các khoảng rất thú vị ở chỗ chúng chứa nhiều hàm đa thức. Có những người khác như thế này?

— Aaron Roth

Đúng vậy, mặc dù có vô số siêu máy bay trong R ^ 2, chỉ cần O (n ^ 2) phân loại các điểm dữ liệu khác nhau. Tôi không biết bất kỳ lớp học thú vị nào khác ngoài đầu, nhưng nếu tôi nghĩ / tìm thấy bất kỳ, tôi sẽ chỉnh sửa câu trả lời của mình.

— Lev Reyzin

Vì vậy, bạn muốn các lớp kích thước VC không giới hạn?

— Suresh Venkat

Kích thước VC không giới hạn chắc chắn sẽ rất thú vị, nhưng các lớp hữu hạn lớn (đối với d cố định) đã cực kỳ thú vị (và dường như rất hiếm)

— Aaron Roth

@LevReyzin Liên kết bài giảng Kalai không hoạt động. Bạn có thể vui lòng sửa điều này? Tôi đã tìm kiếm trên mạng nhưng cũng không thể tìm thấy cái này.

— Anirbit