Điều gì đã xảy ra trước khi học PAC


9

Tôi đang nghiên cứu việc học PAC (lý thuyết học tính toán) khi mới bắt đầu không có kiến ​​thức về học máy / AI trước đây. Tôi đang nghiên cứu mô hình chủ yếu từ quan điểm lịch sử.

Đối với điều này, điều quan trọng nhất tất nhiên là kết quả dựa trên mô hình. Có đủ giấy tờ ra tài liệu những kết quả này. Nhưng tôi cũng muốn viết một cái gì đó về những gì đang diễn ra trước khi học PAC, như phác họa bối cảnh lịch sử cho đến khi Valiant xuất hiện với khái niệm mô hình PAC.

Không có bài báo / khảo sát nào cho đến nay tôi đã tìm thấy tài liệu này và là một người không có kiến ​​thức thực sự về học máy, thật khó để tìm ra điều này. Do đó tôi đang đặt câu hỏi nhẹ nhàng này ở đây, bởi vì tôi tin rằng có đủ chuyên gia có thể giúp tôi với điều này. Tài liệu tham khảo được đánh giá cao.

Khi tôi có thể nghiên cứu và nghiên cứu những gì đang diễn ra trước PAC, tôi có thể nhận được sự đánh giá cao hơn về lý do tại sao thế giới học thuật rất nhiệt tình về mô hình PAC, cũng là điều đáng quan tâm trong tài liệu lịch sử của tôi!


4
Không phải tất cả thế giới học thuật đều nhiệt tình với mô hình PAC. Một số người trong học máy không thực sự thích nó (đặc biệt là những người được áp dụng nhiều hơn).
Yuval Filmus

Câu trả lời:


8

Tài liệu tham khảo được đánh giá cao.

Một tác giả dự kiến ​​sẽ giải quyết câu hỏi về bối cảnh và mức độ phù hợp của kết quả của anh ấy khi bắt đầu xuất bản. Tôi chỉ lướt qua phần giới thiệu của "L. Valiant. Một lý thuyết về điều có thể học được. Truyền thông của ACM, 27, 1984." một lần nữa, và phát hiện ra rằng Valiant thực sự che đậy câu hỏi của bạn.

Bài viết gốc của Valiant vừa có sẵn miễn phí vừa không quá khó đọc. (Ngoại trừ phần 7, chỉ chứng minh rằng tác giả cũng có thể giải quyết các vấn đề toán học đầy thách thức, nhưng không đóng góp nhiều cho nội dung thực sự của bài báo.) Đọc ít nhất phần giới thiệu của nó sẽ bổ ích hơn đọc câu trả lời quá dài của tôi về điều này Câu hỏi, vì vậy tôi đề nghị thực sự thử nó.


Phần còn lại của câu trả lời này cố gắng trích dẫn một số đoạn từ phần giới thiệu sẽ cho biết liệu việc đọc phần giới thiệu này có thể trả lời câu hỏi về bối cảnh lịch sử hay không. Tuy nhiên, lưu ý rằng một tác giả có đặc quyền tự nhiên là thiên vị đối với các câu hỏi như vậy.

... ít nhất một hệ thống như vậy sẽ là một khởi đầu rất tốt. Đầu tiên, khi kiểm tra các ví dụ nổi tiếng nhất về các hệ thống thể hiện kiến ​​thức được lập trình sẵn, cụ thể là các hệ thống chuyên gia như DENDRALMYCIN , về cơ bản không có ký hiệu logic nào ngoài phép tính mệnh đề được sử dụng.

Đây là thông tin thú vị cho bối cảnh, bởi vì tính toán mệnh đề yếu hơn đáng kể so với tính toán dự đoán hoặc các hệ thống khác nhau của lý thuyết loại đôi khi được sử dụng ngày nay. (Mặc dù đủ kỳ lạ, Prolog (1972) và ML (1973) là một trong số những ngôn ngữ khác được dùng làm ngôn ngữ meta cho các hệ thống chuyên gia "như vậy" và dường như vượt xa logic mệnh đề đơn giản như tôi có thể thấy. Ngoài ra, mô hình quan hệ ( 1969) để quản lý cơ sở dữ liệu được tuyên bố là dựa trên logic vị ngữ.)

Có lẽ khám phá kỹ thuật chính có trong bài báo là với khái niệm xác suất này về việc học có khả năng học tập hội tụ cao là có thể cho toàn bộ các lớp hàm Boolean. Điều này dường như để phân biệt cách tiếp cận này với cách tiếp cận truyền thống hơn, nơi học tập được coi là một quá trình "tạo ra" một số quy tắc chung từ thông tin không đủ để đưa ra một suy luận đáng tin cậy.

Tôi hoàn toàn đồng ý ở đây. Điều quan trọng là có thể giải thích làm thế nào giải pháp của bạn có thể giải quyết một vấn đề nhất định và theo nghĩa đó là một giải pháp. Mặt khác, bạn chỉ kết thúc với các định lý "bữa trưa không miễn phí", điều này không cho phép bạn phân biệt việc thực hiện lỗi của một heuristic đáng ngờ với việc thực hiện đúng một heuristic thích hợp.

Tóm lại, bài viết này cố gắng khám phá các giới hạn của những gì có thể học được khi được cho phép bởi độ phức tạp thuật toán. Các kết quả có thể phân biệt với cơ thể đa dạng của công việc trước đây về học tập vì họ cố gắng điều hòa ba thuộc tính ((1) - (3)) đã đề cập trước đó. Gần nhất theo cách tiếp cận của chúng tôi là văn học suy luận quy nạp [...]. Có một khối lượng lớn công việc về nhận dạng và phân loại mẫu, sử dụng các công cụ thống kê và các công cụ khác [...]. Học tập, theo nhiều nghĩa khác nhau ít chính thức hơn, đã được nghiên cứu rộng rãi như một nhánh của trí tuệ nhân tạo.

Các tính chất ((1) - (3)) là (1) "các máy có thể học được toàn bộ các lớp khái niệm đặc trưng" (2) "phù hợp và không cần thiết cho kiến ​​thức mục đích chung" và (3) "tính toán quá trình chỉ yêu cầu một số bước khả thi (nghĩa là đa thức) ".


4

Nhận dạng ngôn ngữ trong giới hạn là nỗ lực được biết đến đầu tiên để nắm bắt khái niệm về khả năng học hỏi. Nó được Gold giới thiệu vào năm 1967 và là một mô hình cho suy luận quy nạp liên quan đến việc học các lớp ngôn ngữ.

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.