Lý thuyết học PAC có nghĩa là gì?

15

Tôi là người mới trong học máy. Tôi đang học một khóa học về máy học (Đại học Stanford) và tôi không hiểu ý nghĩa của lý thuyết này là gì và tiện ích của nó là gì. Tôi tự hỏi nếu ai đó có thể chi tiết lý thuyết này cho tôi.

Lý thuyết này dựa trên phương trình này. nhập mô tả hình ảnh ở đây

machine-learning probability pac-learning

— Tiếng Anh tốt hơn
nguồn

2

PAC là viết tắt của Có lẽ gần đúng.

— Marc Claesen

@MarcClaesen, tôi có thể giải thích như thế này không: "Điều đó có nghĩa là phương pháp tiếp cận máy học cung cấp giải pháp xác suất cho một vấn đề nhất định và giải pháp này có xu hướng chính xác gần đúng"

— BetterEnglish 22/03/2015

1

đây là một liên kết thú vị: autonlab.org/tutorials/pac.html hoặc này: autonlab.org/_media/tutorials/pac05.pdf

— EngrStudent - Tái lập Monica

16

Có lẽ lý thuyết học tập gần đúng (PAC) giúp phân tích xem liệu trong những điều kiện nào, người học có thể sẽ đưa ra một phân loại xấp xỉ chính xác. (Bạn sẽ thấy một số nguồn sử dụng thay cho ) $L$ $A$ $L$

Đầu tiên, hãy định nghĩa "gần đúng." Một giả thuyết là xấp xỉ đúng nếu lỗi mang về bàn thắng phân phối đầu vào được bao bọc bởi một số $h \in H$ Tức là,, nơilà phân phối qua đầu vào. $\epsilon, 0 \le \epsilon \le \frac{1}{2}.$ $error_D(h)\lt \epsilon$ $D$

Tiếp theo, "có lẽ." Nếu sẽ ra một phân loại như vậy với xác suất , với $L$ $1 - \delta$ , chúng tôi gọi đó là phân loạicó lẽgần đúng. $0 \le \delta \le \frac{1}{2}$

Biết rằng một khái niệm mục tiêu là PAC có thể học được cho phép bạn ràng buộc kích thước mẫu cần thiết để có thể tìm hiểu một bộ phân loại chính xác, đó là những gì được thể hiện trong công thức bạn đã sao chép:

m \geq \frac{1}{ϵ} (l n | H | + l n \frac{1}{δ})

$m \ge\frac{1}{\epsilon}(ln|H| + ln\frac{1}{\delta})$

Để có được một số trực giác về điều này, hãy lưu ý các hiệu ứng trên khi bạn thay đổi các biến ở phía bên tay phải. Khi sai số cho phép giảm , kích thước mẫu cần thiết tăng lên. Tương tự như vậy, nó phát triển với khả năng của một người học xấp xỉ chính xác, và với kích thước của không gian giả thuyết . (Một cách lỏng lẻo, một không gian giả thuyết là tập hợp các phân loại mà thuật toán của bạn xem xét.) Nói rõ hơn, khi bạn xem xét các phân loại có thể hơn, hoặc muốn có lỗi thấp hơn hoặc xác suất chính xác cao hơn, bạn cần nhiều dữ liệu hơn để phân biệt giữa chúng. $m$ $H$

Đối với nhiều hơn, video này và các video liên quan khác có thể hữu ích, chẳng hạn như phần giới thiệu dài dòng này hoặc một trong nhiều văn bản học máy , ví dụ như Mitchell .

— Phục sinh Sean
nguồn

Đây là loại câu trả lời tôi đã tìm kiếm trong một thời gian dài; vừa đơn giản nhưng âm thanh. Mặc dù nhiều nguồn sẽ cung cấp một câu trả lời mở rộng, nó không được ưa thích để tham khảo nhanh.

— Ébe Isaac

3

$(x_i, y_i)$ $x_i$ $y_i$ $\tilde{x}$ $\tilde{y}$
Nói 1.000.000 dù. Nếu bạn được cấp thứ tự 1,2,3, ... 999.999, người ta sẽ chắc chắn rằng số tiếp theo là 1.000.000. Tuy nhiên, số tiếp theo có thể là 999.999,5 hoặc thậm chí 5. Điểm quan trọng là càng nhiều dữ liệu người ta nhìn thấy, người ta càng có thể chắc chắn rằng người ta đã tạo ra một mô hình chính xác, nhưng người ta không bao giờ có thể chắc chắn tuyệt đối.

$x_i, 1 \leq i \leq m$ $y_i$ $f_{\theta}$ $f_{\Theta}$ $p >1-\delta$ $f_{\Theta}$ $\epsilon$ $(\delta,\epsilon)$ $(\delta,\epsilon)$ và mức độ phức tạp của lớp giả thuyết đã cho.

$\mathcal{H}$ $f_{\theta}$ $(\epsilon, \delta)$ $0 < \epsilon,\delta , <.5$ $f_{\Theta}$ $\tilde{x}, \tilde{y}$ $Err(f_{\Theta}(\tilde{x}) ,\tilde{y} ) < \epsilon$ $p > 1-\delta$ $m = m(\delta,\epsilon,\mathcal{H})$ $(f_{\Theta}(\tilde{x}) -\tilde{y})^2$

$(\delta,\epsilon)$

— ồ
nguồn