Ý tưởng 'cơ bản' của học máy để ước tính các tham số là gì?

Ý tưởng 'cơ bản' về thống kê để ước tính các tham số là khả năng tối đa . Tôi đang tự hỏi ý tưởng tương ứng trong học máy là gì.

Qn 1. Sẽ công bằng khi nói rằng ý tưởng 'cơ bản' trong học máy để ước tính các tham số là: 'Hàm mất'

[Lưu ý: Tôi ấn tượng rằng các thuật toán học máy thường tối ưu hóa hàm mất và do đó là câu hỏi trên.]

Qn 2: Có tài liệu nào cố gắng thu hẹp khoảng cách giữa thống kê và học máy không?

[Lưu ý: Có lẽ, bằng cách liên quan đến các chức năng mất đến khả năng tối đa. (ví dụ: OLS tương đương với khả năng tối đa cho các lỗi được phân phối thông thường, v.v.)]

Nếu số liệu thống kê là tất cả về tối đa hóa khả năng, thì học máy là tất cả về giảm thiểu tổn thất. Vì bạn không biết mất mát mà bạn sẽ phải chịu cho dữ liệu trong tương lai, nên bạn giảm thiểu xấp xỉ, tức là mất theo kinh nghiệm.

Ví dụ: nếu bạn có một nhiệm vụ dự đoán và được đánh giá bằng số lượng phân loại sai, bạn có thể huấn luyện các tham số để mô hình kết quả tạo ra số lượng phân loại sai nhỏ nhất trên dữ liệu đào tạo. "Số lượng phân loại sai" (nghĩa là mất 0-1) là một hàm mất cứng để làm việc vì nó không khác biệt, vì vậy bạn ước tính nó với một "thay thế" trơn tru. Chẳng hạn, mất nhật ký là giới hạn trên của tổn thất 0-1, vì vậy thay vào đó bạn có thể giảm thiểu điều đó và điều này sẽ giống như tối đa hóa khả năng có điều kiện của dữ liệu. Với mô hình tham số, phương pháp này trở nên tương đương với hồi quy logistic.

Trong một nhiệm vụ mô hình hóa có cấu trúc và xấp xỉ tổn thất log 0-1, bạn nhận được một cái gì đó khác với khả năng có điều kiện tối đa, thay vào đó bạn sẽ tối đa hóa sản phẩm của khả năng cận biên (có điều kiện).

Để có được xấp xỉ tổn thất tốt hơn, mọi người nhận thấy rằng mô hình đào tạo để giảm thiểu tổn thất và sử dụng tổn thất đó làm ước tính tổn thất trong tương lai là một ước tính quá lạc quan. Vì vậy, để giảm thiểu chính xác (tổn thất thực sự trong tương lai), họ thêm một thuật ngữ điều chỉnh sai lệch vào tổn thất theo kinh nghiệm và giảm thiểu điều đó, điều này được gọi là giảm thiểu rủi ro có cấu trúc.

Trong thực tế, việc tìm ra thuật ngữ điều chỉnh sai lệch đúng có thể quá khó, vì vậy bạn thêm một biểu thức "theo tinh thần" của thuật ngữ điều chỉnh sai lệch, ví dụ, tổng bình phương của các tham số. Cuối cùng, hầu hết tất cả các phương pháp phân loại có giám sát học máy tham số đều kết thúc đào tạo mô hình để giảm thiểu những điều sau đây

$\sum_{i} L(\textrm{m}(x_i,w),y_i) + P(w)$

nơi là mô hình của bạn parametrized bởi vector , được thực hiện trên tất cả các datapoints , là một số xấp xỉ tính toán tốt đẹp của sự mất mát thực sự của bạn và là một số thiên vị-chỉnh / quy tắc kỳ hạn w i { x i , y i } L P ( w $\textrm{m}$$w$$i$$\{x_i,y_i\}$$L$$P(w)$

Chẳng hạn, nếu , , một cách tiếp cận thông thường sẽ là để , , và chọn bằng xác nhận chéo y ∈ { - 1 , 1 } m ( x ) = dấu ( w ⋅ x ) L ( m ( x ) , y ) = - log ( y × ( x ⋅ w ) ) P ( w ) = q × ( w ⋅ w $x \in \{-1,1\}^d$$y \in \{-1,1\}$$\textrm{m}(x)=\textrm{sign}(w \cdot x)$$L(\textrm{m}(x),y)=-\log(y \times (x \cdot w))$$P(w)=q \times (w \cdot w)$$q$

Tôi sẽ đưa ra một câu trả lời từng mục. Có thể cung cấp nhiều trích dẫn theo yêu cầu, mặc dù điều này không thực sự gây tranh cãi.

• Thống kê không phải là tất cả về tối đa hóa (log) -likabilities. Đó là sự vô cảm đối với những người Bayes nguyên tắc, những người chỉ cập nhật hậu thế của họ hoặc truyền bá niềm tin của họ thông qua một mô hình thích hợp.
• Rất nhiều số liệu thống kê là về giảm thiểu tổn thất. Và rất nhiều Machine Learning. Giảm thiểu tổn thất theo kinh nghiệm có ý nghĩa khác nhau trong ML. Để có cái nhìn rõ ràng, tường thuật, hãy xem "Bản chất của học thống kê" của LinkedInnik
• Machine Learning không phải là tất cả về giảm thiểu tổn thất. Thứ nhất, vì có rất nhiều người Bayes trong ML; thứ hai, bởi vì một số ứng dụng trong ML phải thực hiện với việc học tạm thời và DP gần đúng. Chắc chắn, có một chức năng khách quan, nhưng nó có một ý nghĩa rất khác so với học tập "thống kê".

Tôi không nghĩ có một khoảng cách giữa các lĩnh vực, chỉ là nhiều cách tiếp cận khác nhau, tất cả đều chồng chéo ở một mức độ nào đó. Tôi không cảm thấy cần phải biến chúng thành các môn học có hệ thống với sự khác biệt và điểm tương đồng được xác định rõ ràng, và với tốc độ mà chúng phát triển, tôi nghĩ dù sao đó cũng là một doanh nghiệp cam chịu.

Tôi không thể đăng bình luận (vị trí thích hợp cho bình luận này) vì tôi không có đủ danh tiếng, nhưng câu trả lời được chấp nhận là câu trả lời tốt nhất bởi chủ sở hữu câu hỏi bỏ lỡ quan điểm.

"Nếu số liệu thống kê là tất cả về tối đa hóa khả năng, thì học máy là tất cả về giảm thiểu tổn thất."

Khả năng là một chức năng mất. Tối đa hóa khả năng cũng giống như giảm thiểu chức năng mất: độ lệch, chỉ bằng -2 lần chức năng khả năng đăng nhập. Tương tự như vậy, tìm một giải pháp bình phương tối thiểu là về việc giảm thiểu hàm mất mát mô tả tổng số bình phương còn lại.

Cả ML và thống kê đều sử dụng thuật toán để tối ưu hóa sự phù hợp của một số chức năng (theo nghĩa rộng nhất) với dữ liệu. Tối ưu hóa nhất thiết liên quan đến việc giảm thiểu một số chức năng mất.

Có một câu trả lời tầm thường - không có ước tính tham số trong học máy! Chúng tôi không cho rằng các mô hình của chúng tôi tương đương với một số mô hình nền ẩn; chúng tôi coi cả thực tế và mô hình là hộp đen và chúng tôi cố gắng lắc hộp mô hình (đào tạo theo thuật ngữ chính thức) để đầu ra của nó sẽ tương tự như hộp thực tế.

Khái niệm không chỉ khả năng mà toàn bộ lựa chọn mô hình dựa trên dữ liệu huấn luyện được thay thế bằng cách tối ưu hóa độ chính xác (bất cứ điều gì được xác định; về nguyên tắc tính tốt trong sử dụng mong muốn) trên dữ liệu không nhìn thấy; điều này cho phép tối ưu hóa cả độ chính xác và thu hồi theo cách kết hợp. Điều này dẫn đến khái niệm về khả năng khái quát hóa, đạt được theo những cách khác nhau tùy thuộc vào loại người học.

Câu trả lời cho câu hỏi hai phụ thuộc nhiều vào định nghĩa; Tuy nhiên, tôi nghĩ rằng các số liệu thống kê phi tham số là một cái gì đó kết nối cả hai.

Tôi không nghĩ có một ý tưởng cơ bản xung quanh việc ước tính tham số trong Machine Learning. Đám đông ML sẽ vui vẻ tối đa hóa khả năng hoặc hậu thế, miễn là các thuật toán có hiệu quả và dự đoán "chính xác". Trọng tâm là tính toán, và kết quả từ số liệu thống kê được sử dụng rộng rãi.

Nếu bạn đang tìm kiếm những ý tưởng cơ bản nói chung, thì trong lý thuyết học tập tính toán, PAC là trung tâm; trong lý thuyết học thống kê, giảm thiểu rủi ro cấu trúc ; và có những lĩnh vực khác (ví dụ, xem bài đăng Khoa học dự đoán của John Langford).

Trên số liệu thống kê bắc cầu / ML, sự phân chia dường như quá lớn. Tôi thích câu trả lời của gappy cho câu hỏi "Hai nền văn hóa".

Bạn có thể viết lại một vấn đề tối đa hóa khả năng thành một vấn đề tối thiểu hóa tổn thất bằng cách xác định tổn thất là khả năng nhật ký âm. Nếu khả năng là một sản phẩm của xác suất độc lập hoặc mật độ xác suất, thì tổn thất sẽ là tổng của các thuật ngữ độc lập, có thể được tính toán hiệu quả. Hơn nữa, nếu các biến ngẫu nhiên được phân phối bình thường, vấn đề giảm thiểu tổn thất tương ứng sẽ là một vấn đề bình phương nhỏ nhất.

Nếu có thể tạo ra một vấn đề giảm thiểu tổn thất bằng cách viết lại tối đa hóa khả năng tối đa hóa, thì điều này nên là để tạo ra một vấn đề giảm thiểu tổn thất từ ​​đầu, vì nó sẽ làm phát sinh vấn đề giảm thiểu tổn thất (hy vọng) nhiều hơn lý thuyết thành lập và ít ad hoc. Ví dụ: các trọng số, chẳng hạn như trong các bình phương có trọng số nhỏ nhất, mà bạn thường phải dự đoán các giá trị, sẽ chỉ xuất hiện từ quá trình viết lại bài toán tối đa hóa khả năng ban đầu và đã có (hy vọng) các giá trị tối ưu.