Chúng ta có bao giờ sử dụng ước tính khả năng tối đa?

Tôi tự hỏi nếu ước tính khả năng tối đa từng được sử dụng trong thống kê. Chúng tôi tìm hiểu khái niệm về nó nhưng tôi tự hỏi khi nó thực sự được sử dụng. Nếu chúng ta giả sử phân phối dữ liệu, chúng ta sẽ tìm thấy hai tham số, một cho giá trị trung bình và một cho phương sai, nhưng bạn có thực sự sử dụng nó trong các tình huống thực tế không?

Ai đó có thể cho tôi biết một trường hợp đơn giản trong đó nó được sử dụng cho?

Tôi tự hỏi nếu ước tính khả năng tối đa từng được sử dụng trong thống kê.

Chắc chắn rồi! Thực tế khá nhiều - nhưng không phải lúc nào cũng vậy.

Chúng tôi tìm hiểu khái niệm về nó nhưng tôi tự hỏi khi nó thực sự được sử dụng.

Khi mọi người có một mô hình phân phối tham số, họ thường chọn sử dụng ước tính khả năng tối đa. Khi mô hình là chính xác, có một số thuộc tính tiện dụng của các ước tính khả năng tối đa.

Đối với một ví dụ - việc sử dụng các mô hình tuyến tính tổng quát là khá phổ biến và trong trường hợp đó, các tham số mô tả giá trị trung bình được ước tính theo khả năng tối đa.

Nó có thể xảy ra rằng một số tham số được ước tính bởi khả năng tối đa và những người khác thì không. Ví dụ, hãy xem xét một Poisson GLM quá liều - tham số phân tán sẽ không được ước tính theo khả năng tối đa, vì MLE không hữu ích trong trường hợp đó.

Nếu chúng ta giả sử phân phối dữ liệu, chúng ta sẽ tìm thấy hai tham số

Chà, đôi khi bạn có thể có hai, nhưng đôi khi bạn có một tham số, đôi khi ba hoặc bốn hoặc nhiều hơn.

Một cho trung bình và một cho phương sai,

Bạn đang nghĩ về một mô hình cụ thể có lẽ? Đây không phải là luôn luôn như vậy. Xem xét ước tính tham số của phân phối theo cấp số nhân hoặc phân phối Poisson hoặc phân phối nhị thức. Trong mỗi trường hợp đó, có một tham số và phương sai là một hàm của tham số mô tả giá trị trung bình.

Hoặc xem xét một phân phối gamma tổng quát , trong đó có ba tham số. Hoặc bản phân phối beta gồm bốn tham số , có (có lẽ không ngạc nhiên) bốn tham số. Cũng lưu ý rằng (tùy thuộc vào tham số cụ thể) giá trị trung bình hoặc phương sai hoặc cả hai có thể không được biểu thị bằng một tham số duy nhất mà bằng các chức năng của một vài trong số chúng.

Ví dụ, sự phân bố gamma, mà có ba tham số hoá mà thấy sử dụng khá phổ biến - các chung hai hầu hết trong số đó có chức năng cả hai giá trị trung bình và phương sai là của hai tham số.

Thông thường trong mô hình hồi quy hoặc GLM hoặc mô hình sống sót (trong số nhiều loại mô hình khác), mô hình có thể phụ thuộc vào nhiều yếu tố dự đoán, trong trường hợp phân phối được liên kết với mỗi quan sát trong mô hình có thể có một tham số riêng (hoặc thậm chí một vài tham số) có liên quan đến nhiều biến dự đoán ("biến độc lập").

Mặc dù các công cụ ước tính tối đa hóa có thể trông đáng ngờ khi đưa ra các giả định về phân phối dữ liệu, Công cụ ước tính khả năng tối đa Quasi thường được sử dụng. Ý tưởng là bắt đầu bằng cách giả định một phân phối và giải quyết cho MLE, sau đó loại bỏ giả định phân phối rõ ràng và thay vào đó hãy xem cách trình ước tính của bạn thực hiện trong các điều kiện chung hơn. Vì vậy, Quasi MLE chỉ trở thành một cách thông minh để có được một công cụ ước tính, và phần lớn công việc sau đó lấy được các thuộc tính của công cụ ước tính. Do các giả định phân phối bị loại bỏ, MLE gần như thường không có các đặc tính hiệu quả tốt.

$x_1, x_2, ..., x_n$$X$$X \sim N (\mu, \sigma^2)$$\hat\sigma^2 = n^{-1}\sum (x_i - \bar x)^2$$\hat\sigma^2$

Ước tính khả năng tối đa thường được sử dụng trong học máy để đào tạo:

• mạng nơ-ron, ví dụ: Chúng ta có thể sử dụng MLE để ước tính trọng lượng của Mạng nơ-ron không?
• tuyến tính, hồi quy logistic và hồi quy logistic đa giác, vd Tại sao các hệ số hồi quy tuyến tính và logistic không thể được ước tính bằng cùng một phương pháp?
• trường ngẫu nhiên có điều kiện (CRF), ví dụ: https://www.coursera.org/learn/probabilistic-graphical-models-3-learning/lecture/oKJ1x/maximum-likabilities-for-conditable-random-fields
• mô hình Markov ẩn (HMM), ví dụ: https://en.wikipedia.org/w/index.php?title=Hidden_Markov_model&oldid=768811108#Learning

Lưu ý rằng trong một số trường hợp, người ta thích thêm một số chính quy, đôi khi tương đương với ước tính tối đa của một posteriori , ví dụ: Tại sao hình phạt Lasso tương đương với số mũ đôi (Laplace) trước đó? .

Ai đó có thể cho tôi biết một trường hợp đơn giản trong đó nó được sử dụng cho?

Một trường hợp rất điển hình là trong hồi quy logistic. Hồi quy logistic là một kỹ thuật được sử dụng thường xuyên trong học máy để phân loại các điểm dữ liệu. Ví dụ, hồi quy logistic có thể được sử dụng để phân loại xem email có phải là thư rác hay không phải là thư rác hoặc phân loại xem một người có hoặc không mắc bệnh.

Cụ thể, mô hình hồi quy logistic nói rằng xác suất một điểm dữ liệu $x_i$ trong lớp 1 như sau: $h_\theta(x_i) = P[y_i = 1] = \frac{1}{1+e^{-\theta^T x_i}}$

The parameter vector $\theta$ is typically estimated using MLE.

Specifically, using optimization methods, we find the estimator $\hat\theta$ such that the expression $-\sum_{i=1}^n y_i\log(h_\hat\theta(x_i)) + (1-y_i)\log(1-h_{\hat\theta}(x_i))$ is minimized. This expression is the negative log likelihood, so minimizing this is equivalent to maximizing the likelihood.

We are using MLE all the time, but we may not feel it. I will give two simple examples to show.

Example 1

If we observe coin flip result, with $8$ head out of $10$ flips (assuming iid. from Bernoulli), how to guess the parameter $\theta$ (prob of head) of the coin? We may say $\theta=0.8$, using "counting".

Why use counting? this is actually implicitly using MLE! Where the problem is

To solve the equation, we will need some calculus, but the conclusion is counting.

Example 2

How would we estimate a Gaussian distribution parameters from data? We use empirical mean as estimated mean and empirical variance as estimated variance, which is also coming from MLE!.

Some maximum likelihood uses in wireless communication:

• Decoding of digital data from noisy received signals, with or without redundant codes.
• Estimation of time-, phase-, and frequency-offsets in receivers.
• Estimation of the (parameters of the) propagation channel.
• Estimation of delay, angle of arrival, and Doppler shift (e.g., radar).
• Estimation of a mobile position (e.g., GPS).
• Estimation of clock offsets for synchronization of all kinds of distributed settings.
• A multitude of calibration procedures.