Điều gì có thể sai với MLE nếu tôi thay thế một số ước tính giai đoạn đầu thay vì một số tham số?

Giả sử ban đầu tôi đang xử lý hàm khả năng , trong đó .$\log L(\theta_1, \ldots, \theta_m, \theta_{m+1}, \ldots, \theta_k)$$\theta_j \in \mathbb{R}$

Giả sử vì bất kỳ lý do gì, tôi đã quyết định nhập vào một số ước tính giai đoạn đầu , , thu được theo cách khác và sau đó tối đa hóa qua , , . Tất cả , , là các ước tính nhất quán của các giá trị tham số thực , , .$\log L$$\tilde{\theta}_{m+1}$$\ldots$$\tilde{\theta}_k$$\log L$$\theta_1$$\ldots$$\theta_m$$\tilde{\theta}_{m+1}$$\ldots$$\tilde{\theta}_k$$\theta_{0,m+1}$$\ldots$$\theta_{0,k}$

Câu hỏi của tôi là: điều gì có thể xảy ra với MLE trong trường hợp này? Công cụ ước tính MLE , , có các thuộc tính tiệm cận như trước không? Có điều gì phụ thuộc vào tốc độ hội tụ của , , không?$\hat{\theta}_1$$\ldots$$\hat{\theta}_m$$\tilde{\theta}_{m+1}$$\ldots$$\tilde{\theta}_k$

Kỹ thuật của bạn về cơ bản là tối đa hóa khả năng đăng nhập có điều kiện, dựa trên $\tilde \theta_{m+1},\ldots,\tilde \theta_k$. Khả năng đăng nhập tối đa hoàn chỉnh là mức tối đa của mức tối đa có điều kiện này trên tất cả các tham số khác này. Điều này rất thường xuyên được sử dụng để tạo ra khả năng quét, đặc biệt là khi$k=m+1$và chỉ có một tham số có điều kiện. Khả năng đăng nhập tối đa như là một chức năng của$\tilde \theta_k$ rất hữu ích trong việc thiết lập khoảng tin cậy $\theta_k$.

Về mặt triết học, luôn có trường hợp có các tham số có điều kiện được cố định - bạn luôn có thể thêm các tham số bổ sung vào mô hình của mình. Mỗi hàm khả năng là một hàm khả năng có điều kiện và ngược lại; tối đa hóa hàm khả năng ghi nhật ký có điều kiện có tất cả các thuộc tính thống kê mà bạn có thể mong đợi từ tối đa hóa hàm khả năng. Sự khác biệt duy nhất là bản chất phi thống kê, xử lý các giả định đằng sau tối đa hóa. Ví dụ, làm thế nào hợp lý để đơn giản hóa mô hình? Thông thường bạn có thể muốn biết rằng bạn có một giá trị chính xác cho$\tilde \theta_k$hoặc có một số đối số cụ thể theo miền (không thống kê) để có một giá trị nhất định. Ví dụ, trong OLS (một loại tối đa hóa khả năng), người ta cho rằng các lỗi là đối xứng, gaussian và độc lập với các biến giải thích (ví dụ không phải là heteroskedastic). Bạn luôn có thể thêm các tham số cho độ lệch, độ không gaussian và độ không đồng nhất, nhưng điều này thường được đánh giá là không cần thiết. *

Trong trường hợp của bạn, bạn chỉ có một ước tính thống kê, với một số khoảng tin cậy. Câu hỏi quan trọng là liệu các ước tính của bạn được lấy từ cùng một dữ liệu được sử dụng trong quá trình tối đa hóa khả năng hay từ một bộ dữ liệu độc lập. Trong trường hợp sau, bạn đang thực hiện một thủ tục rất phổ biến. Một thủ tục đặc biệt bạn có thể cố gắng truyền bá sự không chắc chắn từ$\tilde \theta$ vào kết quả cuối cùng của bạn có thể là để lấy mẫu của bạn $\tilde \theta$từ trong khoảng tin cậy của họ trong một loại bootstrap tham số và tối đa hóa khả năng đăng nhập có điều kiện cho từng mẫu, mang lại khoảng tin cậy mở rộng. Một kỹ thuật khác là để các tham số nổi trong khả năng đăng nhập, nhưng thêm các điều khoản ràng buộc cho khoảng tin cậy của chúng; ví dụ: nhân khả năng với pdf gaussian$\exp(-(\theta_k-\tilde \theta_k)^2/2\sigma_k^2)$, bỏ qua các hằng số không liên quan.

Mặt khác, nếu ước tính của bạn $\tilde \theta$được thực hiện với cùng một dữ liệu được sử dụng trong khả năng tối đa hóa, khả năng của bạn là một thủ tục đáng ngờ hơn. Lấy bộ$\tilde \theta$ là quà tặng cố định, tối đa hóa khả năng đăng nhập có điều kiện có giá trị thống kê, nhưng nó không được đảm bảo để chơi đẹp với bất kỳ khoảng tin cậy nào bạn có cho $\tilde \theta$. Các quy trình trên để thêm các điều khoản ràng buộc vào khả năng hoặc lấy mẫu tham số tham số là không hợp lệ vì các tham số sau đó bị phạt hai lần bởi cùng một tập dữ liệu. Bạn có thể quét qua$\tilde \theta_{m+1},\ldots,\tilde \theta_k$, trong một lưới bao gồm một khoảng tin cậy hợp lý. Chỉ bạn mới có thể xác định xem điều này tốt hơn / dễ dàng hơn chỉ đơn giản là tối đa hóa toàn bộ khả năng đăng nhập.

GHI CHÚ

• Có lẽ không phải là ví dụ tốt nhất, vì bạn thường nên nghiên cứu các lô chẩn đoán / phần dư cho hồi quy OLS để kiểm tra những điều này. Các ví dụ tốt hơn mà tôi có thể đưa ra là tên miền cụ thể.