Làm thế nào để ước tính khả năng tối đa có một phân phối bình thường gần đúng?

Tôi đã đọc về MLE như một phương pháp tạo phân phối phù hợp.

Tôi đã bắt gặp một tuyên bố nói rằng ước tính khả năng tối đa "có phân phối bình thường gần đúng."

Điều này có nghĩa là nếu tôi áp dụng MLE nhiều lần cho dữ liệu của mình và gia đình phân phối mà tôi đang cố gắng phù hợp, các mô hình tôi nhận được sẽ được phân phối bình thường? Làm thế nào chính xác một chuỗi phân phối có một phân phối?

Công cụ ước tính là số liệu thống kê và số liệu thống kê có phân phối mẫu (nghĩa là chúng ta đang nói về tình huống bạn tiếp tục vẽ các mẫu có cùng kích thước và xem xét phân phối ước tính bạn nhận được, mỗi mẫu cho mỗi mẫu).

Các trích dẫn đề cập đến việc phân phối MLE khi kích thước mẫu tiếp cận vô hạn.

Vì vậy, hãy xem xét một ví dụ rõ ràng, tham số của phân phối mũ (sử dụng tham số tỷ lệ, không phải tham số hóa tỷ lệ).

Trong trường hợp này . Định lý cho chúng ta rằng khi kích thước mẫu càng lớn hơn, việc phân phối (một tiêu chuẩn thích hợp) (trên dữ liệu theo cấp số nhân) sẽ trở nên bình thường hơn. n ˉ X$\hat \mu = \bar x$$n$$\bar X$

Nếu chúng ta lấy các mẫu lặp lại, mỗi kích thước 1, mật độ kết quả của phương tiện mẫu được đưa ra trong ô trên cùng bên trái. Nếu chúng ta lấy các mẫu lặp lại, mỗi kích thước 2, mật độ kết quả của phương tiện mẫu được đưa ra trong ô trên cùng bên phải; tại thời điểm n = 25, ở phía dưới bên phải, việc phân phối các phương tiện mẫu đã bắt đầu trông bình thường hơn nhiều.

(Trong trường hợp này, chúng tôi đã dự đoán đó là trường hợp vì CLT. Nhưng phân phối của cũng phải tiếp cận tính quy tắc vì đó là ML cho tham số tỷ lệ ... và bạn không thể có được điều đó từ CLT - ít nhất là không trực tiếp * - vì chúng ta không nói về tiêu chuẩn hóa nữa, đó là những gì CLT nói về) λ = 1 /$1/\bar X$$\lambda=1/\mu$

Bây giờ hãy xem xét tham số hình dạng của phân phối gamma với tỷ lệ trung bình đã biết (ở đây sử dụng tham số hóa trung bình & hình dạng thay vì tỷ lệ & hình dạng).

Công cụ ước tính không phải là dạng đóng trong trường hợp này và CLT không áp dụng cho nó (một lần nữa, ít nhất là không trực tiếp *), tuy nhiên, đối số của hàm khả năng là MLE. Khi bạn lấy các mẫu lớn hơn và lớn hơn, phân phối lấy mẫu của ước tính tham số hình dạng sẽ trở nên bình thường hơn.

Đây là các ước tính mật độ hạt nhân từ 10000 bộ ước tính ML về tham số hình dạng của gamma (2,2), đối với các cỡ mẫu được chỉ định (hai bộ kết quả đầu tiên cực kỳ nặng nề; chúng đã bị cắt bớt phần nào vì vậy bạn có thể nhìn thấy hình gần chế độ). Trong trường hợp này, hình dạng gần chế độ chỉ thay đổi chậm cho đến nay - nhưng đuôi cực đã rút ngắn khá đáng kể. Nó có thể mất một vài trăm để bắt đầu tìm kiếm thông thường.$n$

-

* Như đã đề cập, CLT không áp dụng trực tiếp (rõ ràng, vì chúng tôi không nói chung về phương tiện). Tuy nhiên, bạn có thể tạo một đối số tiệm cận trong đó bạn mở rộng một cái gì đó trong trong một chuỗi, tạo một đối số phù hợp liên quan đến các điều khoản bậc cao hơn và gọi một dạng CLT để có được phiên bản chuẩn của tiếp cận tính quy phạm (trong điều kiện phù hợp ...). $\hat{\theta}$$\hat{\theta}$

Cũng lưu ý rằng hiệu ứng chúng ta thấy khi chúng ta xem xét các mẫu nhỏ (ít nhất là so với vô cực) - rằng sự tiến triển thường xuyên theo hướng bình thường trong nhiều tình huống, như chúng ta thấy được thúc đẩy bởi các ô ở trên - sẽ gợi ý rằng nếu chúng tôi đã xem xét cdf của một thống kê được tiêu chuẩn hóa, có thể có một phiên bản giống như bất đẳng thức Berry Esseen dựa trên cách tiếp cận tương tự với cách sử dụng đối số CLT với MLE sẽ cung cấp giới hạn về việc phân phối lấy mẫu có thể tiến tới mức độ chậm như thế nào. Tôi chưa từng thấy điều gì như vậy, nhưng tôi sẽ không ngạc nhiên khi thấy rằng nó đã được thực hiện.