Phân phối của Công cụ ước tính khả năng tối đa có trọng số (tùy ý) là gì?

7

Giả sử bạn quan sát vectơ của các biến độc lập và biến phụ thuộc , với khả năng . Giả sử là độc lập. Hơn nữa, giả sử bạn được cho trọng số dương , là tùy ý và tính Công cụ ước tính khả năng tối đa có trọng số (WMLE?): Phân phối của WMLE, gì? $X_i$ $y_i$ $l\left(\theta;X_i,y_i\right)$ $y_i$ $w_i$

\hat{θ} = \arg max_{θ} \sum_{1 \leq i \leq n} w_{i} \log l (θ; X_{i}, y_{i}) .

$\hat{\theta} = \arg \max_{\theta} \sum_{1\le i\le n} w_i \log l\left(\theta;X_i,y_i\right).$

\hat{θ}

$\hat{\theta}$

Nếu tôi có thể làm phức tạp thêm câu hỏi mà không chia đôi, có hai trường hợp cần xem xét:

Các $w_i$ là hoàn toàn độc lập với $X_i$ và $y_i$ .
Các $w_i$ phụ thuộc vào biến phụ thuộc $y_i$ một cách nào đó (có lẽ xác định hoặc ngẫu nhiên.)

— steveo'america
nguồn

2

Nói chung, câu hỏi của bạn không có câu trả lời. Có một vài lý do.

1) Giả sử rằng tất cả . Ngay cả trong trường hợp đó, việc phân phối ước tính MLE phụ thuộc vào phân phối dữ liệu, tức là vào hàm . Chẳng hạn, có thể chứng minh rằng trong họ phân phối theo cấp số nhân, kết hợp với một vài hạn chế nữa, ước tính MLE là bình thường không có triệu chứng. Tuy nhiên, một khi nằm ngoài gia đình hàm mũ, bất cứ điều gì cũng có thể xảy ra. $w_i = 1$ $l(\theta;x,y)$ $l(\theta;x,y)$

2) Ngay cả khi thuộc họ hàm mũ, sự hiện diện của các trọng số (đặc biệt nếu chúng phụ thuộc vào x và Y) rất có thể làm cho kết quả phân phối tiệm cận không hợp lệ. $l(\theta;x,y)$

— Nik Tuzov
nguồn

Chúng ta hãy giả sử rằng chúng ta đang làm việc trong Gia đình mũ. Có kết quả nào cho trường hợp độc lập hoàn toàn về trọng lượng và không?

X, y

$X, y$

— steveo'america

1

Tôi nghĩ rằng bạn đang tiếp cận nó từ một kết thúc sai. Có nhiều cách để kết hợp các trọng số quan sát, nhưng đối với tất cả tôi biết mọi người không chỉ gán trọng số cho các điều khoản loglikabilities. Trong các kết quả mà tôi biết, họ cho rằng phương sai phản hồi không bằng các quan sát và nó có thể phụ thuộc vào X. Sau đó, họ viết ra khả năng tương ứng và xem nó sẽ đưa họ đến đâu. Bạn có thể tìm thấy một ví dụ ở đây: stats.stackexchange.com/questions/118243/NH

— Nik Tuzov

2

Nói chung, câu trả lời của Nik Tuzov là đúng, nhưng một số chi tiết không hoàn toàn chính xác. Tóm lại, việc phân phối WMLE là không xác định. Bạn có thể viết phương trình thực tế cho MLE (trọng số hoặc không) và viết đạo hàm hoàn chỉnh để xác định điểm cực đại (s). Cung cấp cho bạn một câu trả lời tính toán - nhưng không có kiến thức cụ thể về phân phối cơ bản, bạn không thể thực hiện nó.

Trên thực tế, sự hiện diện của các trọng số không làm thay đổi câu hỏi nhiều, vì bạn vẫn phải tính đạo hàm. Cách sử dụng LE điển hình trong khoa học ứng dụng chính xác với các trọng số phụ thuộc vào Y - nghĩ rằng các thí nghiệm / kết quả được phân phối là Poissonia với các yếu tố không chắc chắn có liên quan đóng vai trò là các trọng số.

Trong ứng dụng thực tế, trong đó LE được thực hiện bằng số, một xấp xỉ điển hình là một hình dạng parabol xung quanh giá trị tối đa. Bạn có thể hiểu điều này là "phân phối bình thường" hoặc là yếu tố không biến mất đầu tiên của bản mở rộng Taylor. Nhưng ngoài các trường hợp đặc biệt, nó không chính xác (và có thể được xác định tốt hơn nhiều thậm chí bằng số).

Vì vậy: trong các trường hợp đơn giản cho phân phối cơ bản, bạn có thể lấy được mô tả phân tích cho phân phối kết quả - nơi chuỗi thực sự hội tụ. Mặt khác: không, vì vậy nói chung cũng: không.

— chubub
nguồn