Luôn có một tối đa hóa cho bất kỳ vấn đề MLE?

23

Tôi tự hỏi nếu luôn luôn có một tối đa hóa cho bất kỳ vấn đề ước tính khả năng (log-) tối đa? Nói cách khác, có một số phân phối và một số tham số của nó, mà vấn đề MLE không có tối đa hóa?

Câu hỏi của tôi xuất phát từ một tuyên bố của một kỹ sư rằng hàm chi phí (khả năng hoặc khả năng đăng nhập, tôi không chắc đó là dự định) trong MLE luôn luôn lõm và do đó nó luôn có tối đa hóa.

Cảm ơn và trân trọng!

maximum-likelihood optimization

— Tim
nguồn

8

(+1) Bạn có chắc chắn không có một số bằng cấp không được nêu trong câu hỏi của bạn? Vì thế, tuyên bố của các kỹ sư là sai theo nhiều cách khác nhau, thật khó để biết bắt đầu từ đâu. :)

— hồng y

@cardinal: Về cơ bản tôi đã viết ra những gì tôi nghe được. Nhưng tôi thừa nhận tôi có thể bỏ lỡ một cái gì đó.

— Tim

5

Counterexample (lồi): Hãy

là iid

. Mặc dù có một MLE duy nhất, cả khả năng và khả năng đăng nhập đều không lồi trong

.

X_{1}, X_{2}, \dots, X_{n}

$X_1,X_2,\ldots,X_n$

N (0, σ^{2})

$\mathcal N(0,\sigma^2)$

σ^{2}

$\sigma^2$

— hồng y

3

Hồi quy logistic @Tim là một ví dụ cơ bản trong đó MLE không luôn tồn tại. Ngoài ra, đối với một số chức năng liên kết, khả năng đăng nhập không bị lõm.

30

Có lẽ kỹ sư đã ghi nhớ các gia đình hàm mũ kinh điển: trong tham số tự nhiên của họ, không gian tham số là lồi và khả năng log là lõm (xem Thm 1.6.3 trong Thống kê toán học của Bickel & Doksum , Tập 1 ). Ngoài ra, trong một số điều kiện kỹ thuật nhẹ (về cơ bản mô hình là "thứ hạng đầy đủ", hoặc tương đương, là tham số tự nhiên theo nhận dạng), hàm khả năng đăng nhập được lõm hoàn toàn, ngụ ý tồn tại một công cụ tối đa hóa duy nhất. (Hệ quả 1.6.2 trong cùng một tài liệu tham khảo.) [Ngoài ra, các ghi chú bài giảng được trích dẫn bởi @biuler tạo ra cùng một điểm.]

Lưu ý rằng tham số tự nhiên của một gia đình hàm mũ chính tắc thường khác với tham số chuẩn. Vì vậy, trong khi điểm @cardinal ra rằng loga cho gia đình là không lồi trong , nó sẽ lõm trong các tham số tự nhiên, đó là và . $\mathcal{N}(\mu,\sigma^2)$ $\sigma^2$ $\eta_1 = \mu / \sigma^2$ $\eta_2 = -1/\sigma^2$

— DavidR
nguồn

2

(+1) Câu trả lời hay. Như được gợi ý trong các bình luận của tôi cho OP, đây là câu trả lời tôi hy vọng sẽ được đăng (ngay cả ví dụ mẫu cũng được chọn cẩn thận với ý nghĩ này). :)

— Đức hồng y

2

Bạn có thể hiển thị điều này trong Mô hình Gaussian đa biến không?

— Royi

6

Hàm khả năng thường đạt tối đa để ước tính tham số quan tâm. Tuy nhiên, đôi khi MLE không tồn tại, chẳng hạn như đối với phân phối hỗn hợp Gaussian hoặc các hàm không theo tỷ lệ, có nhiều hơn một đỉnh (bi hoặc đa phương). Tôi thường phải đối mặt với vấn đề ước tính di truyền dân số chưa biết nghĩa là các tỷ lệ tái tổ hợp, ảnh hưởng của chọn lọc tự nhiên.

Một trong những lý do cũng @cardinal chỉ ra đó là không gian tham số không giới hạn.

Hơn nữa, tôi muốn giới thiệu bài viết sau , xem phần 3 (về chức năng) và Hình.3. Tuy nhiên, có thông tin tài liệu khá hữu ích và tiện dụng về MLE.

— Sinh học
nguồn

3

Tôi nghĩ rằng tôi phải hiểu lầm ví dụ của bạn. Những hàm bậc hai có nhiều hơn một đỉnh?

— hồng y

@cardinal: Hãy để tôi thử giải thích. Quan điểm của bạn về tham số không giới hạn là một trong những lý do khiến hàm khả năng không đạt được mức tối đa ngay cả trong ví dụ đơn giản về phân phối bình thường. Tuy nhiên, quan điểm của tôi là từ quan điểm tối ưu hóa rằng có một vấn đề phổ biến về cực đại địa phương và toàn cầu. Tôi đã phải đối mặt với vấn đề này thường xuyên trong di truyền dân số trong khi ước tính tỷ lệ tái hợp. Ngoài ra, hãy xem bài viết này phần 3 (để biết chức năng) và Hình 3. URL bài viết: citeseerx.ist.psu.edu/viewdoc/iêu

— Biuler

Vì vậy, có phải bạn đang nói "các hàm bậc hai có nhiều hơn một đỉnh" là một tham chiếu đến, ví dụ, một mô hình hỗn hợp Gaussian, có lẽ? Nếu vậy, một chỉnh sửa có thể có thể làm sáng tỏ một số nhầm lẫn.

— Đức hồng y

Bây giờ nó được cập nhật.

— Biuler

2

(+1) Để cập nhật. Lưu ý rằng nói chung, trong các mô hình hỗn hợp Gaussian, cả khả năng không giới hạn và nhiều cực đại cục bộ đều có mặt. Để làm cho vấn đề tồi tệ hơn, khả năng trở nên không bị ràng buộc tại các giải pháp đặc biệt bệnh lý. Nói chung, nhiều cực đại có thể không tệ như một vấn đề. Trong một số trường hợp, các cực đại này hội tụ với nhau đủ nhanh để chọn bất kỳ trong số chúng vẫn có thể mang lại một ước lượng hợp lý (thậm chí, hiệu quả) của tham số quan tâm không có triệu chứng.

— Đức hồng y

3

Tôi thừa nhận tôi có thể đang thiếu một cái gì đó, nhưng -

Nếu đây là một vấn đề ước tính và mục tiêu là ước tính một tham số chưa biết và tham số được biết đến từ một số tập đóng và giới hạn, và hàm khả năng là liên tục, thì phải tồn tại một giá trị cho tham số này tối đa hóa chức năng khả năng. Nói cách khác, tối đa phải tồn tại. (Không cần phải là duy nhất, nhưng ít nhất phải tồn tại một mức tối đa. Không có gì đảm bảo rằng tất cả các cực đại cục bộ sẽ là cực đại toàn cầu, nhưng đó không phải là điều kiện cần thiết để tồn tại tối đa.)

Tôi không biết chức năng khả năng luôn luôn phải lồi, nhưng đó không phải là điều kiện cần thiết để tồn tại tối đa.

Nếu tôi bỏ qua điều gì đó, tôi hoan nghênh nghe những gì tôi đang thiếu.

— DW
nguồn

4

Không có giả định bổ sung, tuyên bố đưa ra về cực đại là sai. Ví dụ, nếu không gian tham số được đóng và giới hạn và hàm khả năng liên tục trong các tham số, thì phải tồn tại tối đa. Vắng một trong hai điều kiện bổ sung này, kết quả không cần phải giữ. Về độ lồi, nó thất bại ngay cả trong các ví dụ đơn giản và phổ biến nhất. :)

— Đức hồng y

2

(+1) Giới hạn của không gian tham số không giữ được nhiều trường hợp đơn giản. Nhưng, cho các mục đích thực tế, chúng ta thường biết các tham số của chúng ta bị giới hạn. :)

— Đức hồng y

3

Có lẽ ai đó sẽ tìm thấy ví dụ đơn giản sau đây hữu ích.

$\theta$ $\theta \in (0,1)$ $(0,1)$ $\theta$

{\begin{cases} θ & thủ trưởng \\ 1 - θ & đuôi \end{cases} .

$\begin{cases} \theta & \text{heads} \\ 1-\theta & \text{tails} \end{cases} .$

θ

$\theta$

(0, 1)

$(0,1)$

— mef
nguồn