Ý tưởng và trực giác đằng sau ước tính khả năng tối đa gần đúng (QMLE)

Câu hỏi: Ý tưởng và trực giác đằng sau ước tính khả năng tối đa gần đúng (QMLE; còn được gọi là ước tính khả năng tối đa giả, PMLE) là gì? Điều gì làm cho công cụ ước tính hoạt động khi phân phối lỗi thực tế không khớp với phân phối lỗi giả định?

Các trang web Wikipedia cho QMLE là tốt (ngắn gọn, trực quan, đến điểm), nhưng tôi có thể sử dụng một số trực giác hơn và chi tiết, có lẽ cũng là một minh họa. Các tài liệu tham khảo khác được chào đón nhất. (Tôi nhớ đi qua khá toán kinh tế vài giáo trình tìm kiếm tài liệu trên QMLE, và trước sự ngạc nhiên của tôi, QMLE chỉ được đề cập trong một hoặc hai trong số họ, ví dụ như Wooldrige "kinh tế lượng phân tích của Cross Section và Bảng điều chỉnh dữ liệu" (2010), Chương 13 Mục 11, trang 502-517.)

"Điều gì làm cho công cụ ước tính hoạt động khi phân phối lỗi thực tế không khớp với phân phối lỗi giả định?"

Về nguyên tắc, QMPLE không "hoạt động", theo nghĩa là một công cụ ước tính "tốt". Lý thuyết được phát triển xung quanh QMLE rất hữu ích vì nó đã dẫn đến các bài kiểm tra sai chính tả.

Điều mà QMLE chắc chắn làm là ước tính nhất quán vectơ tham số nhằm giảm thiểu phân kỳ Kullback-Leiber giữa phân phối thực và phân phối được chỉ định. Điều này nghe có vẻ tốt, nhưng giảm thiểu khoảng cách này không có nghĩa là khoảng cách tối thiểu sẽ không lớn.

Tuy nhiên, chúng tôi đọc rằng có nhiều tình huống rằng QMLE là một công cụ ước tính nhất quán cho vectơ tham số thực . Điều này phải được đánh giá từng trường hợp cụ thể, nhưng tôi xin đưa ra một tình huống rất chung chung, điều này cho thấy rằng không có gì vốn có trong QMLE làm cho nó phù hợp với vectơ thực sự ...

... Thay vào đó, thực tế là nó trùng khớp với một công cụ ước tính khác luôn luôn nhất quán (duy trì giả định mẫu ergodic-tĩnh): công cụ ước tính Phương pháp Khoảnh khắc lỗi thời.

Nói cách khác, khi nghi ngờ về phân phối, một chiến lược cần xem xét là "luôn chỉ định phân phối mà công cụ ước tính Khả năng tối đa cho các tham số sở thích trùng với công cụ ước tính Phương pháp Khoảnh khắc" : theo cách này cho dù có sai lệch như thế nào là giả định phân phối của bạn, công cụ ước tính ít nhất sẽ nhất quán.

Bạn có thể đưa chiến lược này đến các thái cực lố bịch: giả sử rằng bạn có một mẫu iid rất lớn từ một biến ngẫu nhiên, trong đó tất cả các giá trị đều dương. Tiếp tục và giả định rằng biến ngẫu nhiên thường được phân phối và áp dụng khả năng tối đa cho giá trị trung bình và phương sai: QMLE của bạn sẽ phù hợp với các giá trị thực.

Tất nhiên điều này đặt ra câu hỏi, tại sao lại giả vờ áp dụng MLE vì những gì chúng ta thực chất đang làm là dựa vào và ẩn đằng sau những điểm mạnh của Phương pháp Khoảnh khắc (cũng đảm bảo tính bình thường không có triệu chứng)?

Trong các trường hợp tinh chỉnh khác, QMLE có thể được hiển thị là phù hợp với các tham số quan tâm nếu chúng ta có thể nói rằng chúng ta đã chỉ định chính xác hàm trung bình có điều kiện nhưng không phải là phân phối (ví dụ như trường hợp đối với QMLE được gộp chung - xem Wooldridge) .

Tuy nhiên, điều thú vị là, công thức này đã nghe theo một công cụ ước tính kiểu khoảnh khắc trong đó người ta có thể chỉ đơn giản là "đặt điều họ muốn ước tính" trong RHS của biểu thức được ngoặc đơn và tin rằng biểu thức sẽ hội tụ thành "điều đó thú vị Điều". Đó là một hình thức proto của phương trình ước tính.

Ước tính phương trình không có khái niệm mới. Trên thực tế, những nỗ lực từ những năm 1870 và đầu những năm 1900 để đưa ra các định lý EE có nguồn gốc chính xác từ các EE sử dụng các mở rộng Taylor, nhưng việc thiếu kết nối với mô hình xác suất là nguyên nhân gây tranh cãi giữa các nhà phê bình quan trọng.

$S$

Tuy nhiên, trái ngược với câu trả lời ở trên, quasilikabilities đã được sử dụng rộng rãi. Một cuộc thảo luận rất hay trong McCullogh và Nelder liên quan đến mô hình dân số của cua móng ngựa. Không giống như con người, thói quen giao phối của chúng chỉ đơn giản là kỳ quái: nơi nhiều con đực có thể đổ xô đến một con cái trong các "cụm" không được đo lường. Từ góc độ nhà sinh thái học, thực sự quan sát các cụm này vượt xa phạm vi công việc của họ, nhưng dù sao đi đến dự đoán về quy mô dân số từ việc bắt và phát hành đặt ra một thách thức đáng kể. Nó chỉ ra rằng mô hình giao phối này dẫn đến một mô hình Poisson với độ phân tán dưới mức đáng kể, nghĩa là phương sai tỷ lệ thuận, nhưng không bằng giá trị trung bình.

Sự phân tán được coi là thông số phiền toái theo nghĩa là chúng ta thường không suy luận về giá trị của chúng và cùng ước tính chúng trong một khả năng duy nhất dẫn đến khả năng rất bất thường. Quasilikabilities là một lĩnh vực thống kê rất hữu ích, đặc biệt là trong công việc sau này về các phương trình ước tính tổng quát .

Tôi đã có một câu hỏi tương tự như câu hỏi ban đầu được đăng ở đây từ Richard Hardy. Sự nhầm lẫn của tôi là các tham số ước tính từ quasi-ML có thể không tồn tại trong phân phối "thật" chưa biết. Trong trường hợp này, "tính nhất quán" chính xác có nghĩa là gì? Các tham số ước tính hội tụ đến những gì?

Sau khi kiểm tra một số tài liệu tham khảo ( White (1982) nên là một trong những bài viết gốc nhưng bị kiểm soát. Một giải trình hữu ích tôi tìm thấy là http://homepage.ntu.edu.tw/~ckuan/pdf/et01/ch9.pdf ), Suy nghĩ của tôi bằng tiếng Anh đơn giản như sau: sau khi thừa nhận rằng phân phối mà chúng tôi giả sử chỉ là xấp xỉ với giá trị thực không xác định, điều thực tế chúng ta có thể làm là tìm giá trị tham số để giảm thiểu khoảng cách của chúng (khoảng cách Kullback-Leiblerđể được chính xác). Cái hay của lý thuyết là, không cần biết phân phối thực, các tham số ước tính từ quasi-ML hội tụ đến tham số thu nhỏ khoảng cách này (tất nhiên, có những kết quả hữu ích khác từ lý thuyết như phân phối tiệm cận của ước tính tham số vv nhưng chúng không phải là trọng tâm của câu hỏi của tôi ở đây).

Giống như Alecos Papadopolous đã đề cập trong bài trả lời của mình ở trên, khoảng cách tối thiểu vẫn có thể lớn. Vì vậy, phân phối mà chúng tôi giả định có thể là một xấp xỉ kém với đúng. Tất cả những gì gần như ML có thể làm là làm cho phân phối giả định của chúng ta càng gần với phân phối thực sự chưa biết càng tốt. Hy vọng kinh nghiệm của tôi được chia sẻ ở đây có thể hữu ích cho những người khác có những nhầm lẫn tương tự.