Phương pháp của các khoảnh khắc là gì và nó khác với MLE như thế nào?

13

Nhìn chung, có vẻ như phương pháp của các khoảnh khắc chỉ khớp với giá trị trung bình của mẫu được quan sát hoặc phương sai với các khoảnh khắc lý thuyết để có được ước tính tham số. Điều này thường giống như MLE cho các gia đình theo cấp số nhân, tôi tập hợp.

Tuy nhiên, thật khó để tìm thấy một định nghĩa rõ ràng về phương pháp của các khoảnh khắc và một cuộc thảo luận rõ ràng về lý do tại sao MLE dường như thường được ưa chuộng, mặc dù có thể khó hơn để tìm chế độ của chức năng khả năng.

Câu hỏi này MLE có hiệu quả hơn phương pháp Moment không? có một trích dẫn của Giáo sư Donald Rubin (tại Harvard) nói rằng mọi người đều biết từ thập niên 40 rằng MLE đánh bại MoM, nhưng tôi rất muốn biết lịch sử hoặc lý do cho việc này.

maximum-likelihood method-of-moments

— frelk
nguồn

2

Dưới đây là phần trình bày thảo luận về ưu / nhược điểm của MLE / MoM: gradquant.ucr.edu/wp-content/uploads/2013/11/ trên

— Jon

Một số câu trả lời trên trang web thảo luận về phương pháp khoảnh khắc có thể có liên quan để giúp bạn hiểu.

— Glen_b -Reinstate Monica

Xem thêm số liệu thống kê.stackexchange.com/a/129188/28746

— Alecos Papadopoulos

1

@Jon: Liên kết chết.

— Ben - Tái lập Monica

7

$E[g(y,x,\theta)] = 0$ $x$

Trong MLE, trình ước tính tối đa hóa hàm khả năng ghi nhật ký.

Nói chung, MLE đưa ra các giả định chặt chẽ hơn (mật độ đầy đủ) và do đó thường kém mạnh mẽ hơn nhưng hiệu quả hơn nếu các giả định được đáp ứng (nó đạt được Kramer Rao bị ràng buộc thấp hơn về phương sai tiệm cận).

Trong một số trường hợp hai trường hợp trùng khớp, OLS là một ví dụ đáng chú ý trong đó giải pháp phân tích là giống hệt nhau và do đó công cụ ước tính hành xử theo cùng một cách.

Theo một nghĩa nào đó, bạn có thể nghĩ về một MLE (trong hầu hết các trường hợp) là một công cụ ước tính MoM vì công cụ ước tính đặt giá trị dự kiến của độ dốc của hàm khả năng ghi nhật ký bằng 0. Theo nghĩa đó, có những trường hợp mật độ không chính xác nhưng MLE vẫn nhất quán vì các điều kiện đặt hàng đầu tiên vẫn được thỏa mãn. Sau đó, MLE được gọi là "quasi-ML".

— Siêu nhân
nguồn

4

Thông thường, với những người MoM đề cập đến trường hợp hàm g là một số sức mạnh nên kỳ vọng là một khoảnh khắc. Điều này trông giống như "phương pháp tổng quát của khoảnh khắc".

— kjetil b halvorsen

3

OLS là một phương pháp ước tính khoảnh khắc (MoME). Nó cũng là một công cụ ước tính khả năng tối đa (MLE), nhưng chỉ trong trường hợp đặc biệt về khả năng - trường hợp bình thường. Đối với phân phối khác, OLS sẽ không phải là MLE, trong khi đó vẫn là MoME.

— Richard Hardy

2

Phương pháp của khoảnh khắc là gì?

Có một bài viết hay về điều này trên Wikipedia.

https://en.m.wikipedia.org/wiki/Method_of_moments_(statistic)

Điều đó có nghĩa là bạn đang ước tính các tham số dân số bằng cách chọn các tham số sao cho phân bố dân số có các khoảnh khắc tương đương với các khoảnh khắc quan sát được trong mẫu.

Nó khác với MLE như thế nào

Ước tính khả năng tối đa giảm thiểu chức năng khả năng. Trong một số trường hợp, mức tối thiểu này đôi khi có thể được thể hiện bằng cách thiết lập các tham số dân số bằng với các tham số mẫu.

$\mu = \bar{x}$ $\mu$

μ = 1 / n \sum l n (x_{i}) = \bar{l n (x)}

$\mu = 1/n \sum ln (x_i) = \overline {ln (x)}$

Trong khi đó giải pháp MoM đang giải quyết

e x p (μ + \frac{1}{2} σ^{2}) = \bar{x}

$exp (\mu + \frac {1}{2}\sigma^2) = \bar {x}$

μ = l n (\bar{x}) - \frac{1}{2} σ^{2}

$\mu = ln (\bar {x}) - \frac {1}{2} \sigma^2$

Vì vậy, MoM là một cách thực tế để ước tính các tham số, thường dẫn đến kết quả chính xác giống như MLE (vì các khoảnh khắc của mẫu thường trùng với các khoảnh khắc của dân số, ví dụ: trung bình mẫu được phân phối xung quanh trung bình dân số và lên đến một số yếu tố / thiên vị, nó hoạt động rất tốt). MLE có nền tảng lý thuyết mạnh hơn và ví dụ, cho phép ước tính lỗi bằng cách sử dụng ma trận Fisher (hoặc ước tính của nó), và đó là một cách tiếp cận tự nhiên hơn nhiều trong trường hợp các vấn đề hồi quy (tôi đã thử nhưng tôi đoán rằng một MoM để giải các tham số trong hồi quy tuyến tính đơn giảnkhông hoạt động dễ dàng và có thể cho kết quả xấu. Trong câu trả lời của superpronker, có vẻ như điều này được thực hiện bằng cách giảm thiểu một số chức năng. Đối với MLE, sự tối thiểu hóa này thể hiện xác suất cao hơn, nhưng tôi tự hỏi liệu nó có đại diện cho điều tương tự như vậy đối với MoM không.

— Sextus Empiricus
nguồn

1

Soorry, tôi không thể bình luận qua ..

MLE đưa ra các giả định chặt chẽ hơn (mật độ đầy đủ) và do đó thường kém mạnh mẽ hơn nhưng hiệu quả hơn nếu các giả định được đáp ứng

Trên thực tế tại MITx " Nguyên tắc cơ bản của thống kê ", chúng ta được dạy ngược lại, rằng MoM dựa vào phương trình cụ thể của các khoảnh khắc và nếu chúng ta chọn mật độ sai, chúng ta hoàn toàn sai, trong khi MLE hoàn toàn kiên cường hơn phân kỳ KD ..

— Antonello
nguồn

Thiếu danh tiếng không phải là một lý do chính đáng để sử dụng không gian của một câu trả lời cho một bình luận.

— Michael R. Chernick