Sự khác biệt giữa học tập và suy luận là gì?

Các tài liệu nghiên cứu về máy học thường coi việc học và suy luận là hai nhiệm vụ riêng biệt, nhưng đối với tôi không rõ sự khác biệt là gì. Trong cuốn sách này, ví dụ họ sử dụng số liệu thống kê Bayes cho cả hai loại nhiệm vụ, nhưng không cung cấp một động lực cho sự khác biệt đó. Tôi có một vài ý tưởng mơ hồ về những gì nó có thể nói về, nhưng tôi muốn thấy một định nghĩa vững chắc và có lẽ cũng phản bác hoặc mở rộng ý tưởng của tôi:

• Sự khác biệt giữa suy ra các giá trị của các biến tiềm ẩn cho một điểm dữ liệu nhất định và tìm hiểu một mô hình phù hợp cho dữ liệu.
• Sự khác biệt giữa trích xuất phương sai (suy luận) và tìm hiểu các bất biến để có thể trích xuất phương sai (bằng cách tìm hiểu động lực của không gian / quá trình / thế giới đầu vào).
• Sự tương tự về thần kinh học có thể là tiềm năng / trầm cảm ngắn hạn (dấu vết bộ nhớ) so với tiềm năng / trầm cảm dài hạn.

Tôi đồng ý với câu trả lời của Neil G, nhưng có lẽ cụm từ thay thế này cũng giúp:

Hãy xem xét việc thiết lập một mô hình hỗn hợp Gaussian đơn giản. Ở đây chúng ta có thể nghĩ về các tham số mô hình là tập hợp các thành phần Gaussian của mô hình hỗn hợp (mỗi phương tiện và phương sai của chúng, và trọng lượng của mỗi người trong hỗn hợp).

Đưa ra một tập các tham số mô hình, suy luận là vấn đề xác định thành phần nào có khả năng đã tạo ra một ví dụ cụ thể, thường ở dạng "trách nhiệm" cho từng thành phần. Ở đây, các biến tiềm ẩn chỉ là định danh duy nhất cho thành phần nào tạo ra vectơ đã cho và chúng tôi đang suy ra thành phần nào có khả năng là. (Trong trường hợp này, suy luận là đơn giản, mặc dù trong các mô hình phức tạp hơn, nó trở nên khá phức tạp.)

Việc học là quá trình, đưa ra một tập hợp các mẫu từ mô hình, xác định các tham số mô hình (hoặc phân phối trên các tham số mô hình) phù hợp nhất với dữ liệu đã cho: chọn phương tiện, phương sai và trọng số của Gaussian.

Thuật toán học tối đa hóa kỳ vọng có thể được coi là thực hiện suy luận cho tập huấn luyện, sau đó học các tham số tốt nhất được đưa ra suy luận đó, sau đó lặp lại. Suy luận thường được sử dụng trong quá trình học theo cách này, nhưng nó cũng được quan tâm độc lập, ví dụ: chọn thành phần nào tạo ra một điểm dữ liệu nhất định trong mô hình hỗn hợp Gaussian, để quyết định trạng thái ẩn có khả năng nhất trong mô hình Markov ẩn, để áp đặt các giá trị còn thiếu trong một mô hình đồ họa tổng quát hơn, ....

Suy luận là chọn một cấu hình dựa trên một đầu vào duy nhất. Học tập là chọn tham số dựa trên một số ví dụ đào tạo.

Trong khung mô hình dựa trên năng lượng (cách nhìn gần như tất cả các kiến ​​trúc máy học), suy luận chọn một cấu hình để giảm thiểu chức năng năng lượng trong khi giữ các tham số cố định; học chọn các tham số để giảm thiểu chức năng mất .

Như liên hợp chỉ ra, những người khác sử dụng thuật ngữ khác nhau cho cùng một điều. Ví dụ: Giám mục, sử dụng "suy luận" và "quyết định" để có nghĩa là học tập và suy luận tương ứng. Suy luận nhân quả có nghĩa là học tập. Nhưng bất cứ điều khoản nào bạn quyết định, hai khái niệm này là khác biệt.

Sự tương tự về thần kinh là một mô hình của các nơ-ron bắn là một cấu hình; một tập hợp các điểm mạnh liên kết là các tham số.

Điều này trông giống như sự nhầm lẫn lingo kỷ luật chéo cổ điển. OP dường như đang sử dụng thuật ngữ giống như khoa học thần kinh trong đó hai thuật ngữ được đề cập có thể có ý nghĩa khác nhau. Nhưng vì Cross xác thực thường xử lý các số liệu thống kê và gia công, tôi sẽ thử trả lời câu hỏi dựa trên việc sử dụng phổ biến các thuật ngữ này trong các lĩnh vực đó.

Trong thống kê cổ điển, suy luận đơn giản là hành động lấy những gì bạn biết về một mẫu và đưa ra một tuyên bố toán học về dân số mà nó đại diện (hy vọng). Từ sách giáo khoa kinh điển của Casella & Berger (2002): "Chủ đề của lý thuyết xác suất là nền tảng mà tất cả các số liệu thống kê được xây dựng ... thông qua các mô hình này, các nhà thống kê có thể rút ra các kết luận về dân số, suy luận chỉ dựa trên kiểm tra một phần của toàn bộ ". Vì vậy, trong thống kê, suy luận có liên quan cụ thể đến giá trị p, thống kê kiểm tra và phân phối mẫu, v.v.

Về việc học, tôi nghĩ bảng này từ Wasserman's All of Statistics (2003) có thể hữu ích:

Thật kỳ lạ khi không ai khác đề cập đến điều này, nhưng bạn chỉ có thể suy luận trong trường hợp bạn có phân phối xác suất. Ở đây để trích dẫn Wiki, trong đó trích dẫn từ điển Oxford:

Suy luận thống kê là quá trình sử dụng phân tích dữ liệu để suy ra các thuộc tính của phân phối xác suất cơ bản (Từ điển thống kê Oxford)

https://en.wikipedia.org/wiki/Statistic_inference

Trong trường hợp mạng thần kinh truyền thống, các SVM k-NN hoặc vanilla bạn không có mật độ xác suất để ước tính, cũng không giả định về bất kỳ mật độ nào, do đó, không có suy luận thống kê nào ở đó. Chỉ đào tạo / học tập. Tuy nhiên, đối với hầu hết (tất cả?) Các thủ tục thống kê, bạn có thể sử dụng cả suy luận VÀ học tập, vì các quy trình này có một số giả định về sự phân bố dân số trong câu hỏi.