Sự khác biệt giữa Ước tính khả năng tối đa & Giảm dần độ dốc là gì?

Các pro & nhược điểm của cả hai phương pháp là gì?

— GeorgeOfTheRF
nguồn

Tôi không tìm kiếm định nghĩa của hai phương pháp mà tôi đã có từ tìm kiếm của Google. Tôi đang cố gắng để hiểu phương pháp nào được ưa thích trong trường hợp nào. Ví dụ: Đối với Bigdata, một người sẽ làm việc tốt hơn những người khác, v.v. Tôi không thể tìm thấy bất kỳ tài liệu hay nào nói về các khía cạnh thực tế, v.v.

— GeorgeOfTheRF

Làm thế nào là một con quạ như bàn viết?

— whuber

@ML_Pro GD không liên quan đến mô hình thống kê, đây là một thuật toán. Bạn có thể có thể bắt đầu với một số cẩm nang thống kê giới thiệu để hiểu rõ hơn về suy luận thống kê trước khi đi vào tìm hiểu các công cụ (như GD) để giải quyết các vấn đề thống kê.

— Tim

Bạn có muốn hỏi sự khác biệt giữa Tối ưu hóa Độ dốc và Tối đa hóa Kỳ vọng (thường được sử dụng để giải quyết vấn đề tối ưu hóa trong MLE) không?

— Sobi

Câu trả lời:

Ước tính khả năng tối đa là một cách tiếp cận chung để ước tính các tham số trong các mô hình thống kê bằng cách tối đa hóahàm khả năng được xác định là

L (θ | X) = f (X | θ)

$L(\theta|X) = f(X|\theta)$

có nghĩa là, khả năng thu thập dữ liệu đưa ra một số giá trị của tham số . Biết hàm khả năng cho một vấn đề nhất định, bạn có thể tìm kiếm như vậy tối đa hóa xác suất lấy được dữ liệu bạn có. Ước lượng đôi khi chúng ta đã biết, ví dụ như trung bình cộng là một ước lượng MLE cho tham số cho phân phối chuẩn , nhưng trong những trường hợp khác mà bạn có thể sử dụng phương pháp khác nhau bao gồm sử dụng các thuật toán tối ưu hóa. Cách tiếp cận ML không cho bạn biết cách để tìm giá trị tối ưu của - bạn chỉ có thể lấy dự đoán và sử dụng khả năng để so sánh mà đoán được tốt hơn - nó chỉ cho bạn biết làm thế nào bạn có thể so sánh nếu một giá trị của $X$ $\theta$ $\theta$ $\mu$ $\theta$ là "nhiều khả năng" hơn người kia. $\theta$

Gradient giảm dần là một thuật toán tối ưu hóa . Bạn có thể sử dụng thuật toán này để tìm mức tối thiểu (hoặc tối đa, sau đó nó được gọi là độ dốc tăng dần ) của nhiều hàm khác nhau. Thuật toán không thực sự quan tâm chức năng mà nó giảm thiểu là gì, nó chỉ thực hiện những gì nó được yêu cầu. Vì vậy, với việc sử dụng thuật toán tối ưu hóa, bạn phải biết bằng cách nào đó bạn có thể biết liệu một giá trị của tham số quan tâm có "tốt" hơn giá trị kia hay không. Bạn phải cung cấp cho thuật toán của mình một số chức năng để giảm thiểu và thuật toán sẽ giải quyết việc tìm tối thiểu của nó.

Bạn có thể có được ước tính khả năng tối đa bằng các phương pháp khác nhau và sử dụng thuật toán tối ưu hóa là một trong số đó. Mặt khác, độ dốc gốc cũng có thể được sử dụng để tối đa hóa các chức năng khác ngoài chức năng khả năng.

— Tim
nguồn

@ML_Pro Tôi đã cung cấp hai liên kết nơi bạn có thể tìm thấy thông tin chi tiết, tôi không nghĩ cần phải sao chép các câu trả lời này.

— Tim

@ML_Pro như tôi đã viết trong câu trả lời của mình, chúng là những thứ khác nhau và bạn không thể so sánh chúng ...

— Tim

Có nhưng MLE là một cách tiếp cận chung và GD chỉ là một thuật toán bạn có thể sử dụng để giảm thiểu một số chức năng khác nhau. Nó giống như bạn so sánh đại số với máy tính bỏ túi ...

— Tim

MLE chỉ định hàm mục tiêu (hàm khả năng); GD tìm giải pháp tối ưu cho một vấn đề khi hàm mục tiêu được chỉ định. Bạn có thể sử dụng GD (hoặc các thuật toán tối ưu hóa khác) để giải quyết vấn đề khả năng tối đa và kết quả sẽ là công cụ ước tính khả năng tối đa.

— jbowman

@ML_Pro điều này được mô tả trong các liên kết tôi cung cấp trong câu trả lời của mình. Tóm lại: có, nó là một sản phẩm của pdf. Sản phẩm bởi vì chúng tôi giả định rằng dữ liệu là iid Nó được định nghĩa theo thuật ngữ pdf vì chúng tôi đang nói về mô hình xác suất.

— Tim

-3

Thông thường, khi chúng ta có hàm khả năng

f = l (θ)

$f = l(\theta)$ , thì chúng ta giải phương trình

\frac{d f}{d θ} = 0

$\frac{ df }{ d\theta } = 0$

chúng ta có thể nhận được giá trị của có thể cung cấp giá trị max hoặc min của , đã hoàn tất!

θ

$\theta$ f

Nhưng chức năng khả năng hồi quy logistic không theo cách này, giải pháp dạng đóng . Vì vậy, chúng ta phải sử dụng phương pháp khác, chẳng hạn như gradient descent.

— Belter
nguồn

@Tim, bạn có thể thấy một cái gì đó từ đây, khóa

— học.cs.washington.edu / cifts / cse446 / 13sp / slides / Kẻ

"Các hệ số hồi quy thường được ước tính bằng cách sử dụng ước tính khả năng tối đa" ( en.wikipedia.org/wiki/Logistic_regression )

— Tim

Ước tính khả năng tối đa làm là một loại phương pháp để ước tính các hệ số hồi quy, nhưng chúng tôi có một số cách để tìm giải pháp của MLE. Vì vậy, sử dụng likelihood function+ gradient descent(để có được giải pháp của hàm khả năng) vẫn là một cách để thực hiện MLE.

— Belter

Bạn cũng có thể thấy câu này

Unlike linear regression, we can no longer write down the MLE in closed form. Instead, we need to use an optimization algorithm to compute it. For this, we need to derive the gradient and Hessian.

từ Machine Learning: Quan điểm xác suất, Kevin Murphy.

— Belter

... Sau đó, từ ngữ của câu trả lời của bạn là khó hiểu vì có vẻ như bạn đang nói rằng để hồi quy logistic, chúng tôi không sử dụng ML và thay vào đó chúng tôi sử dụng GD.

— Tim