Đây có phải là trường hợp khả năng đăng nhập * luôn * có độ cong âm? Tại sao?

Thông tin Fisher được định nghĩa theo hai cách tương đương: là phương sai của độ dốc của và là âm của độ cong dự kiến ​​của . Vì trước đây luôn luôn tích cực, điều này sẽ ngụ ý rằng độ cong của chức năng log-likelihood là ở mọi nơi tiêu cực. Điều này có vẻ hợp lý với tôi, vì mọi phân phối mà tôi đã thấy đều có chức năng khả năng ghi nhật ký với độ cong âm, nhưng tôi không hiểu tại sao điều này phải như vậy.$\ell(x)$$\ell(x)$

Kết luận của bạn không tuân theo: nếu giá trị kỳ vọng của độ cong của khả năng đăng nhập là âm, thì nó không nhất thiết ở mọi nơi âm. Nó chỉ cần, trung bình, tiêu cực hơn tích cực. Hãy nghĩ về một phân phối lưỡng kim: thực sự có một khu vực ở giữa các chế độ với khả năng đăng nhập cong tích cực, vì vậy yêu cầu của bạn không thể đúng.

Lưu ý liên kết với ước tính khả năng tối đa cho trực giác: trong vùng lân cận của MLE, bạn có thể mong đợi độ cong là âm bởi vì bạn ở mức tối đa (mặc dù không nhất thiết, như nếu tối đa xảy ra trên đường biên chẳng hạn) . Nếu độ cong là âm ở các khu vực có khả năng nhất, thì trung bình sẽ có xu hướng âm, theo trực giác. Trong thực tế, nó phải luôn luôn, trong các điều kiện đều đặn cho phép bạn sử dụng tính tương đương với định nghĩa "phương sai của độ dốc", như bạn chỉ ra.

Đối với một số loại hàm khả năng, người ta có thể chứng minh rằng khả năng đó là log-lõm , nghĩa là khả năng log có các dẫn xuất thứ hai ở mọi nơi, giúp cuộc sống dễ dàng hơn nhiều (ví dụ: bạn thường có thể chứng minh sự tồn tại của cực đại toàn cầu duy nhất, sử dụng các phương pháp tối ưu hóa chuyên dụng ...) Ví dụ:$<=0$

• câu hỏi CV này cho thấy khả năng gia đình theo cấp số nhân với chức năng liên kết chính tắc là log-lõm
• bài báo này "Sự phù hợp của khả năng đăng nhập" Pratt 1981, JASA chứng minh tính liên kết log cho một lớp các mô hình với các phản ứng thứ tự.

Chắc chắn cũng có các phản ứng mẫu (khả năng là không thể lõm vào log). Ví dụ: mọi khả năng đăng nhập là sinh học hoặc đa phương thức đều không phải là log-lõm ... ví dụ:

• "Một lưu ý về tính lưỡng tính trong chức năng khả năng đăng nhập đối với các mô hình hỗn hợp spline bị phạt", Welham và Thompson 2009 CS & DA
• "Khả năng sống bằng phẳng và đa phương thức và thiếu mẫu mực trong các gia đình hàm mũ cong", Sundberg 2010 Scand J Stat
• "Các vấn đề với ước tính khả năng của các hàm hiệp phương sai của các quá trình Gaussian không gian", Warnes và Ripley 1987 Biometrika